Aqui está apenas uma das muitas soluções:
No seu servidor, instale um servidor VNC, assim:
sudo apt-get install vnc4server
Agora você pode iniciar sessões VNC com o comando vncserver
. Você pode iniciar quantos você quiser ou ter seus usuários SSH em seu servidor e iniciar os próprios servidores.
Em seguida, use um cliente VNC nos computadores clientes para se conectar ao servidor.