Quando você faz login em uma máquina remota e executa programas usando o X forwarding (bem, o mesmo acontece com programas de texto, mas com muito menos largura de banda) está executando o programa (o cliente X) (termos cliente / servidor são revertidos para X do que você normalmente pensa) na máquina remota, por isso está usando sua CPU, memória, etc .; no entanto, a tela (o servidor X) está na sua máquina local, por isso está transmitindo todas as atualizações de exibição X pela Internet para a sua máquina. Agora, se você acha que o VNC é lento na Internet ... ele é rápido comparado ao X. A compressão ssh may pode ajudar, ou pode piorar as coisas, dependendo da lentidão da conexão com a Internet. X não foi projetado para conexões de baixa latência de baixa velocidade, então, embora seja muito legal e prático para ser capaz de fazê-lo, o desempenho acima de qualquer coisa, exceto uma LAN de alta velocidade, suga a água da lagoa.
A única maneira de melhorar seriamente o desempenho será usar o VNC ou o FreeNX ou algo em vez do X em bruto. Se você não tiver a capacidade de instalar o VNC, etc. diretamente na máquina no trabalho, talvez você possa usar outra máquina lá em cima (até mesmo uma VM dedicada) para hospedar o servidor VNC; então você pode usar essa máquina para fazer a conexão X-over-SSH onde ela está em uma rede mais rápida, e você pode VNC para aquela máquina em vez daquela que você realmente quer.