Você pode definir dinamicamente as cores de primeiro e de segundo plano por meio de comandos como estes:
echo -ne '\e]10;red\a'
echo -ne '\e]11;#ffff00\a'
Eu provavelmente os emitia como parte de $PS1
ou $PROMPT_COMMAND
tanto localmente quanto nos servidores remotos (com cores diferentes em cada servidor). Dessa forma, quando você terminar seu comando ssh
, você voltará para a cor local (e funcionará como esperado por meio de vários saltos ssh).