Xpra ou o Xpra garfo afirma ser exatamente isso:
So basically it's screen for remote X apps.
Eu não uso há algum tempo, mas funcionou muito bem quando tentei. Você inicia o servidor na máquina remota:
[remote] $ xpra start :13
Em seguida, você anexa ao servidor da sua máquina local:
[local] $ xpra attach ssh:remote:13
E agora, qualquer coisa exibida no X display 13 na máquina remota aparecerá localmente:
[remote] $ DISPLAY=:13 xeyes