Execute alias ls para ver se ls está com alias para um comando que colore a saída. Se assim for (e você não quer mudar as cores, mas apenas eliminar a colorização), execute unalias ls para remover a colorização do shell atual.
Para remover permanentemente o alias, localize onde o alias está definido (provavelmente em ~/.bashrc ) e comente ou exclua o alias.