man usa um pager para mostrar seu conteúdo, como less , more ou most . O pager padrão do Ubuntus é less , mas você pode configurar esse no sistema de alternativas . Além disso, você pode dizer para usar outro pager caso a caso com o -P switch
man -P more ls
ou definindo as variáveis de ambiente PAGER ou MANPAGER
export MANPAGER=more
more ls
Portanto, para resolver seu problema de cor, você pode escolher um pager cujas configurações de cor padrão sejam mais adequadas para você ou pode adaptar as configurações de cor do pager que deseja usar. Por exemplo, você pode usar um monte de variáveis de ambiente e termcap para configurar o uso de cor em menos .