Não é fácil. Ele não sabe mais quais são as cores do sistema original depois de ssh, então você precisa configurar o ssh local para enviar essas informações como variáveis de ambiente e o ssh remoto para lê-las. Consulte SendEnv
na página ssh_config(5)
man, AcceptEnv
na página sshd_config(5)
man e a seção SSHRC da página sshd(8)
man.