Já existem ferramentas para isso. Infelizmente, eles não fazem parte da distribuição base X, mas são ferramentas relacionadas e código aberto.
A coisa mais simples é o vnc. Isso permite que você manipule remotamente sua área de trabalho.
Também existem coisas complexas, nem sempre elas são opensource, por exemplo, teamviewer.
O servidor e o cliente também suportam win, linux e osx.