Se o SSH estiver disponível no seu host, você pode tentar usar o VNC com um túnel seguro para o seu cliente:
<client> $ sudo ssh -C -L 9999:localhost:5904 pkaramol@<my_host_name_or_ip>
<client> $ vncviewer localhost::9999
Dependendo da sua configuração, você pode não precisar do sudo ou da opção -C (compressão). Além disso, você pode substituir 9999 por uma porta que desejar.
PS: Desculpe, mas sem o direito de comentar, não consegui esclarecer.