Se você não precisa de toda a área de trabalho na máquina remota, o X-forwarding é o que você deseja. Você pode se conectar de um Linux / Unix / Mac / Cygwin equipado com X ou qualquer máquina para outra usando
ssh -X <remote hostname>
Se sua máquina local for um computador Windows, você precisará de algo como cygwin (instale o pacote ssh e o servidor X). No servidor você não precisa de um servidor X, mas precisa de xbase-clients
para ser instalado. Depois de se conectar ao servidor, como mostrado acima, você pode iniciar qualquer aplicativo GUI e ele será exibido em sua máquina local. No entanto, é terminado quando você se desconecta.
Se o que você está procurando é uma maneira de executar máquinas virtuais com o VirtualBox na máquina remota, então você deve olhar para o modo headless do VirtualBox, ou seja, controlar o VirtualBox na linha de comando com o GUI VirtualBox Manager.