Sim, é possível usar -tt
switches, o que forçará a alocação de TTY e enganará o programa remoto para gravar também as cores. Teste mínimo que posso executar no meu sistema:
Sem cores:
ssh localhost "cowsay hello | lolcat"
com cores:
ssh -tt localhost "cowsay hello | lolcat"