Eu honestamente tive sucesso terrível com servidores VNC no Linux ultimamente. Em resposta, mudei para usar o X-forwarding para executar coisas remotamente ...
Para experimentar, a partir de outra máquina Linux, você pode rapidamente (geralmente) adicionar "-X" ao digitar:
$ ssh -X me@myserverbox
Depois de fazer login remotamente, você pode executar aplicativos pela rede apenas ligando para eles:
$ xclock
Se tudo estiver bem, você verá o xclock aparecer localmente, mas estará sendo executado da máquina em que você fez a reprodução.
Você pode realmente executar sessões inteiras de gerenciadores de janelas sobre isso. Mas é um pouco de esforço e você definitivamente quer uma rede realmente boa para isso.
Você também pode executar servidores X no Windows, para poder executar aplicativos Xhost no Windows - e para fazê-lo no OSX, é necessário instalar o X11, executá-lo e depois fazer ssh de um terminal rodando no X11.
Espero que isso te ajude um pouco.
Editado: para corrigir o erro de terminologia