Sim, o X forwarding sobre o ssh é realmente uma coisa bonita. Ele permite que você use aplicativos gráficos em um aplicativo por aplicativo e tenha o Windows manipulado pelo seu próprio ambiente de área de trabalho. Você nem precisa de um ambiente de desktop instalado no servidor.
Você precisa configurar algumas coisas de autenticação para funcionar. Eu acredito que você precisa de xauth para isso.
É muito mais rápido que o VNC também. VNC sempre foi um pouco atrasado na minha experiência.
Editar: Não tenho experiência com esse método pelo Windows, mas encontrei este tutorial para você, se estiver interessado .