Veja dircolors(1) e dir_colors(5) .
Para desativar as cores até encontrar alguma que você goste, use \ls .
Aqui está uma amostra rápida do uso de cores personalizadas (neste caso, listagens de diretório ciano; embora isso colida com a cor dos links simbólicos, não haverá um "azul mais claro"):
$ echo 'DIR 01;36' > ~/.dir_colors
$ eval $(dircolors -b ~/.dir_colors)
$ ls --color
Para tornar isso o padrão, você pode chamar dircolors como acima em seu arquivo de inicialização.