A resposta do @Tim é perfeitamente razoável, mas como uma alternativa, você pode querer olhar para NoMachine NX ou FreeNX . O NoMachine NX é proprietário, mas oferece dois logins de usuários remotos gratuitamente. Então, se você quer apenas se conectar ao seu próprio servidor ou algo assim, isso pode ser ideal. FreeNX, IIRC elimina essa restrição, mas pode ser um pouco mais difícil, dependendo do seu nível de experiência com o Linux. Ambos os serviços têm uma velocidade próxima do local quando usados para se conectar remotamente.
Acredito que ambas as abordagens exigem a configuração de um servidor NX na máquina host e a execução de um cliente NX na máquina cliente. Apenas certifique-se de ter os privilégios para fazer esse tipo de coisa antes de mergulhar.
Pessoalmente, acho o NX mais rápido e estável do que usar o VNC, mas não tenho números para comprovar isso. Eu só queria oferecer uma alternativa ao VNC.