Você não precisa de uma GUI para os usos que descreve. Você definitivamente não precisa do X ou do GNOME ou algo assim. Eu recomendo que você habilite um servidor SSH na sua caixa Ubuntu digitando sudo apt-get install openssh-server
.
Em seguida, instale o PuTTY na sua caixa do Windows Link . Com essa configuração, você pode se conectar remotamente ao seu servidor a partir da sua caixa do Windows.
Se você realmente precisa do acesso ao X, você pode configurar o PuTTY para redirecionar o X para a sua máquina Windows, mas você precisará instalar um servidor X como o Xming para que ele funcione Link