Se eu entendi sua pergunta corretamente, o X Server está na máquina remota . Então você só precisa filtrar o sinal HUP com nohup .
Outro comando legal é o screen , que permite reconectar-se a sessões mais antigas. Vale a pena dar uma olhada quando você costuma usar o SSH.