Gostaria de enfatizar o fato de que o VNC é simplesmente um ponto de comparação horrível.
Entre os sistemas Linux, um xpra adequadamente configurado oferece um desempenho muito melhor - principalmente graças ao suporte à compressão com perdas baseada em H.264.
A única compactação com perdas suportada pelo TeamViewer parece estar reduzindo a profundidade das cores e algum tipo de atualização entrelaçada que ajuda pouco com o conteúdo animado, como você observou. Um bom sistema seria capaz de sacrificar a qualidade para manter uma taxa razoável de atualizações. O xpra mencionado chega perto disso, mas honestamente ainda faz um trabalho de baixa qualidade.
Outro problema é o TCP versus o UDP. Protocolos baseados em TCP são bastante vulneráveis a, por exemplo, alta perda de pacotes, e o fato de que uma vez que você enviou alguns dados, ele deve ser transmitido - assim, uma única atualização grande significa que sua tela irá travar até chegar. Particularmente em conexões lentas que tornam o VNC inutilizável, já que qualquer grande mudança na tela significa que você não verá nenhuma alteração até minutos depois. Compare também ssh vs. mosh para texto puro.
Parece que ninguém conseguiu inventar um protocolo realmente bom, mas que combina altas taxas de compressão de codecs de vídeo avançados, uso de UDP com uma boa maneira de lidar com pacotes perdidos, codificação perceptiva que detecta e favorece a legibilidade do texto. mais de detalhes "inúteis", bom balanceamento automatizado de velocidades de atualização / transmissão com velocidade de codificação e qualidade, refinamento gradual e suave da qualidade ao longo do tempo para áreas não atualizadas, cache do cliente e diferenciação (enquanto codificação de vídeo pode referenciar quadros antigos não são realmente uma boa correspondência com o conteúdo normal da área de trabalho e o fato de que você pode armazenar facilmente 100s de MB do lado do cliente de dados de referência).
Em outras palavras: Tudo o que o TeamViewer parece fazer é não fazer coisas completamente estúpidas (embora o VNC tenha a desculpa de mostrar sua idade), não conheço nenhuma solução que implemente até mesmo uma fração de truques inteligentes possíveis até hoje, sem mencionar todos aqueles que se pode imaginar.