Geralmente, é executado um servidor sem exibição gráfica real (talvez muito simples para o trabalho de diagnóstico). Os clientes se conectam por meio de um protocolo de rede, seja X encapsulado por SSH ou um protocolo de área de trabalho remota, como VNC ou RDP.
Com o primeiro, os usuários executam programas GUI a partir do shell remoto e são exibidos como janelas em seus sistemas clientes. Isso funciona bem em redes de alta velocidade, desde que os gráficos não sejam intensivos, mas infelizmente o protocolo X é muito falante e pouco eficiente. Também requer que cada cliente execute um servidor X, que é automático em clientes Linux, fácil no Mac OS e um pouco pesado no Windows.
A outra abordagem é usar o VNC ou o RDP, que executa uma sessão de área de trabalho remota inteira exibida como uma janela no cliente. O trabalho real é feito no servidor e um fluxo gráfico compactado é entregue ao programa cliente. Há também uma opção intermediária chamada NX, que usa uma versão otimizada do protocolo X para oferecer uma experiência semelhante (com algumas melhorias de desempenho em VNC ou RDP). Para essas abordagens, os programas clientes estão disponíveis para qualquer grande (e muitos menores ) sistemas operacionais.
Há outro caminho a percorrer, que combina mais com o que você imagina: um sistema gigantesco semelhante a um polvo, estendendo conexões gráficas diretas de um servidor central em torno de uma pequena área (ou até mesmo de um prédio inteiro). Isso é conhecido como "Multiseat X", e você pode ler mais sobre como fazer isso neste artigo do x.org . Os links de lá indicam que há interesse suficiente em fazer isso para manter a idéia viva, embora eu nunca tenha visto ninguém fazendo isso na minha experiência direta.