2 coisas:
1: Use UltraVNC (ou tightVNC) Ambos são otimizados para velocidade. 2: Se estiver usando o UltraVNC, instale o driver de espelhamento. Isso torna a sessão de controle muito suave e sem tremores.
É normal que o desempenho do VNC seja realmente lento? Em nossa pequena rede, a área de trabalho remota do Windows funciona perfeitamente, mas ao usar o VNC para conectar a algumas máquinas do Ubuntu eu mal posso trabalhar mesmo em 640x480!
Na minha experiência, o Windows Remote Desktop é geralmente mais rápido que o VNC, mas na mesma rede, o VNC não deve estar rodando muito devagar.
Se os drivers da sua placa de vídeo não estiverem atualizados, você poderá ver algum atraso causado por isso. Você também pode tentar desativar a compactação diferencial. Você pode fazer isso clicando em Iniciar e digitando optionalfeatures.exe na caixa de pesquisa e pressionando Enter. Então, basta encontrá-lo e desmarcá-lo.
Como Bob mencionou, parte disso também dependerá de qual VNC você está usando. Além dos dois mencionados por ele eu também usei Crossloop, que foi apenas um pouco mais lento do que RDP. Você também pode notar um problema entre as máquinas Vista e XP.
Muitos clientes que usam uma única área de trabalho servida causam lentidão e latência perversas, pois o controle da tela é programado para round-robin (como uma rede de token ring).
Quantos são muitos depende da CPU, latências de rede, etc ...