A versão curta é que o X11 e o VNC servem a propósitos diferentes, então você os usaria em circunstâncias diferentes.
É possível abrir um desktop X11 completo remotamente, usando o XDMCP ; é assim que os terminais X11 funcionam (um sistema central fornece os desktops e hospeda todos os aplicativos, os terminais só os exibem). Mas, até onde sei, você não pode se conectar remotamente a uma área de trabalho X11 existente.
O que você pode fazer com o X11 é ter um desktop local e exibir aplicativos remotos nele, sem uma área de trabalho remota. (Isso pode estar próximo do que você está pensando com o gerenciamento transparente de desktops locais e remotos fundidos.)
A principal vantagem do VNC é que ele é compatível com várias plataformas, para que você possa visualizar uma área de trabalho do Windows em um sistema X11 etc. Há servidores VNC disponíveis que permitem que um cliente VNC se conecte a uma área de trabalho X11 existente para reconectar-se remotamente ao seu desktop existente sem reiniciar tudo. Você também pode compartilhar uma área de trabalho: os usuários locais e remotos podem usar (ou pelo menos visualizar) a mesma área de trabalho simultaneamente.
No que diz respeito à sobrecarga, o VNC simples é menos eficiente que o X11: o VNC transfere atualizações de pixel, enquanto o X11 transfere primitivas gráficas (por exemplo, "desenhar um retângulo", "imprimir este texto"). Isso é menos relevante hoje em dia, já que, por exemplo, a maioria das atualizações de texto no X11 são baseadas em pixels.