Isso é mais do que possível usando o tunelamento X11. As instruções exatas para fazer isso diferem dependendo da plataforma que você está usando para se conectar ao servidor.
Windows XP / 7/8
Você precisará baixar e instalar as seguintes ferramentas:
Quando tiver o Xming instalado, inicie o programa. Agora você tem uma sessão X11 em execução localmente no seu computador. Quando você iniciar o PuTTY para se conectar ao servidor, expanda a coluna "SSH" à esquerda e clique em "X11":
Agora, verifique se a caixa de seleção "Ativar o encaminhamento do X11" está marcada:
Conecte-se ao servidor como faria normalmente. Agora, quando você executar um aplicativo X11 (como o Firefox), ele usará seu servidor X11 local:
Ubuntu 12.04 +
O encaminhamento do X11 no Ubuntu é incrivelmente simples. Você nem precisa usar o PuTTY. Basta abrir um terminal e usar o comando SSH:
ssh -X myserver.example.com