Depende da versão do Linux que você está usando, por exemplo, no Ubuntu você edita o arquivo Bash enquanto em outros você edita o DIR_COLORS.
CentOS / RHEL / Fedora
Passo 1 - Copie o DIR_COLORS para a sua pasta pessoal ou pule este para todas as contas.
cp /etc/DIR_COLORS ~/.dir_colors
Passo 2 - Edite as DIR_COLORS (Se você copiou para sua pasta pessoal, caso contrário apenas vi dir_colors
vi ~/.dir_colors
Etapa 3 - Localizar
DIR 01;34 # directory
Passo 4 - Substitua por (Mude o 33 com a cor que você quer)
DIR 01;33 # directory
Você pode precisar fazer isso no arquivo Xterm também, mas geralmente isso é mais local.
Ubuntu
Passo 1 - Backup do Ubuntu do Arquivo Bash Primeiro
sudo cp .bashrc .bashrc-backup
Passo 2 - Então nano o arquivo Bashrc
sudo nano .bashrc
Mais ajuda para usuários do Ubuntu pode ser encontrada aqui.