Isso depende do VPS e do que está instalado no Ubuntu.
Se for uma instalação de servidor, provavelmente ele terá vários itens de GUI (X) não instalados, pois isso pode ter um impacto dramático na quantidade de espaço em disco e nos ciclos de CPU usados.
Se houver a versão da estação de trabalho com os pacotes de estações de trabalho padrão, há uma capacidade de compartilhamento de área de trabalho usando o VNC para se conectar a ela.
Como alternativa, você pode obter um servidor X para seu sistema Windows e ssh com putty (usando o X-forwarding ativado) para iniciar aplicativos gráficos para aparecer localmente em sua máquina Windows enquanto estiver executando no sistema remoto.
Sua melhor aposta é aprender como usar o prompt de comando, no entanto. Ele permitirá que você execute um sistema mais enxuto, reduza o uso da CPU e simplifique como conectar-se à sua máquina (usando apenas o SSH em vez de uma interface gráfica mais lenta).