Se o seu servidor tiver um daemon SSH em execução, você poderá encaminhar o tráfego X por um túnel SSH com bastante facilidade:
localhost$ ssh -X your.server.address
server$ xclock # window should appear on local machine
Se você quiser fazer login para ver toda a sua área de trabalho remotamente, leia sobre o Xdmcp. Aqui está um recurso fácil .