Não tem como: a man page do ls mostra que a configuração padrão (para --color) é 'none' - por exemplo. nunca use cores.
Você não quer usar aliases? Eu sou um usuário Red Hat em recuperação, então toda vez que eu instalo uma nova distribuição eu configurei três aliases ls assim:
## Colorize the ls output ##
alias ls='ls --color=auto'
## Use a long listing format ##
alias ll='ls -la'
## Show hidden files ##
alias l.='ls -d .* --color=auto'