O X11 está enviando chamadas de desenho único, enfileiradas em um pipeline síncrono, o que significa que cada chamada está aguardando um reconhecimento do anterior (simplificado demais).
Se você tiver uma conexão com uma alta latência (atraso para cada mensagem enviada), isso pode ser muito mais lento, porque todas as pequenas chamadas de desenho (dependendo de quantos elementos diferentes, botões, etc. precisam ser desenhados) pode demorar muito, mesmo se a largura de banda for muito alta.
Nesse caso, o VNC pode se sobressair no desempenho, pois pode enviar muitos dados (blocos de imagens da tela) em um, sem ter que esperar diretamente pelas respostas entre eles.