Você não precisa do VNC ou mesmo rodar o X através de um serviço, apesar de o X e qualquer coisa do gnome-visual ser instalada junto com o seu programa visual. Eu uso o aptitude para instalar para manter um olho nas dependências.
Eu uso aplicativos gráficos via ssh de casa o tempo todo sem fazer nada de especial, apenas use ssh -X como você faria com ssh . Uma vez logado, você faz o background da tarefa, exemplo:
$ midori &
e, em seguida, a janela aparece como se fosse sua máquina local.
Eu faço isso principalmente para obter um navegador dentro da rede para gerenciar algo. A última vez, eu usei o firefox anteriormente, mas a minha nova instalação do Debian não tem nada.
Uma ferramenta que eu realmente gostei e gostei foi abrir o xfce-panel no servidor do meu desktop linux, no qual eu tinha alguns plugins úteis diferentes, incluindo monitoramento de hardware. Às vezes, o gedit viria a calhar quando eu soubesse que haveria muitas edições e parecia mais rápido iniciar um novo shell com -X e depois fazer o background da GUI em vez de apenas usar o vi.
Editar para adicionar: Você me lembrou que eu precisava de um navegador interno, por isso, a partir de casa, instalei um grupo de navegadores no host & midori é o melhor que já experimentei. O Netsurf não pôde abrir o webmin, o arora era muito lento, & epiphany foi mais lento que o normal para mostrar a entrada da GUI.