Basicamente, parece que você precisa de uma sessão X flexível (apenas um aplicativo, não uma área de trabalho inteira) por meio do ssh, que pode ser retomada a qualquer momento.
Eu uso o NX para isso. Eu também usei durante algum tempo x2go, mas eu sempre volto para o NX.
Alguns links valem a pena olhar:
E alguns tutoriais sobre o NX: