Idéia # 1: desative a compactação. Sim, desativado. É possível que seu problema não seja sobre largura de banda, mas sobre latência. Ter compressão no canal faz normalmente uma latência muito ruim para aplicativos de GUI. Se você tiver uma boa largura de banda, sugiro que uma boa tentativa pareça estranha no primeiro ponto: desative a compactação em todos os lugares.
Idéia # 2: Tente usar outra implementação ssh. Em seguida, openssh é um pouco notório sobre sua velocidade. Provavelmente, sua razão parcial é que seus desenvolvedores estão se concentrando na segurança, e a velocidade é uma coisa secundária para eles. A causa da latência é provavelmente não a lentidão dos algoritmos de criptografia, mas o manejo ineficiente dos eventos de transferência de dados simultâneos (em várias direções, tanto de entrada quanto de saída), e também o cálculo / compressão / criptografia coisas em um single-threaded, software não orientada a eventos. (Por exemplo: trabalho típico do software: primeiro ele criptografa um bloco de dados, envia-o para a rede, finalmente lê o que o lado remoto nos enviou e o descriptografa. Parece perfeitamente correto, mas contém uma latência terrível: blocos de dados chegados não serão lidos até que a compressão real do bloco não esteja pronta ... Deve ser implementada de uma maneira multithread, ou pelo menos assíncrona, e o openssh é muito, muito, muito ruim nisso).
Idéia # 3: Verifique a configuração em ambos os lados. A compactação pode ser definida no servidor e também na configuração do cliente. Parece-me não irrealista, que talvez você só tenha montado em um dos lados. Verifique, realmente verifique se isso realmente acontece em ambos os lados (embora provavelmente no lado de envio não seja realmente importante, porque os movimentos do mouse e os acessos do teclado não usam muita largura de banda para isso. Talvez uma solução assimétrica, também comprimindo a grande operações de imagem no lado do servidor e do cliente, enquanto envia dados descompactados de servidor de cliente e baixa latência prometem o melhor resultado.