Isso provavelmente está relacionado a como você configura seu ls para exibir cores. Se você puder postar, poderemos ser mais úteis.
Eu recomendo usar o seguinte no seu arquivo de perfil de shell favorito (.bashrc):
alias ls="ls --color=auto"
Alternativamente, quando você não quiser a saída de cores, poderá chamar ls usando --color=never