Você só precisa manter a configuração TERM em ambos os computadores. Então, basta mudá-lo para o que estiver no servidor.
Note que você deve manter a configuração set t_Co=256
em .vimrc para funcionar corretamente, esp, quando conectado remotamente.