Isso é o que você pode usar para alcançá-lo:
Encaminhamento do X11 usando o SSH
X11 Howto de encaminhamento X11
Seu servidor tem quase 100% de chances de ter um serviço SSH configurado e rodando nele, e se ele tiver instalado o desktop ubuntu como você diz, você poderá "encapsular" aplicativos x11 através de ssh com esses tutoriais.
Sua solicitação é um pouco incomum, e é provável que você descubra que há uma boa razão pela qual a maioria dos servidores não é gerenciada dessa maneira.
Eu não tenho ideia de que tipo de aplicação GUI você pode usar para administrar eficientemente um servidor Ubuntu, mas se você encontrar um, você poderá executá-lo através do ssh com esta técnica.