O servidor VNC mais leve pode na verdade ser o pior. Você não está transferindo o servidor em si, mas os dados de vídeo e os servidores mais inteligentes podem lidar melhor com conexões ruins. No entanto, não posso recomendar programas específicos.
Também pode haver opções melhores do que o VNC: o FreeNX é uma alternativa muito popular; também há Xpra e xrdp
(Área de Trabalho Remota).
Fora dos gerenciadores de janelas leves, há os clássicos twm
, Openbox, vários WMs lado a lado, como wmii
/ dwm
...