Você executará suas coisas com ssh -X
(assumindo que seu laptop executa um Linux com alguma área de trabalho X11) e instalaria apenas os pacotes de aplicativos cliente , por exemplo,
echo net-misc/openssh X >> /etc/portage/package.use/net-misc
sudo emerge -av openssh
isto irá puxar as bibliotecas do cliente necessárias, mas não a parte do servidor.
Você não quer nenhum desktop no VPS remoto, apenas alguns poucos aplicativos GUI.
Na verdade, para um VPS você realmente deveria aprender mais na linha de comando.