Infelizmente isso não é possível com o xterm. Quando o xterm sai (ou é desconectado), o processo perderá o acesso ao TTY e será encerrado ou desaparecerá no segundo plano. Você não conseguirá se conectar a ele depois de se reconectar.
Você precisaria de um multiplexador de terminal como screen
ou tmux
para manipular o TTY I / O no servidor remoto quando seu cliente estiver desconectado.