A exibição X é criada e atribuída pelo controle remoto sshd , não por ssh -X em sua máquina local; ele começa no X11DisplayOffset configurado (por padrão, 10) e continua incrementando até encontrar uma exibição não usada.
ETA: O encaminhamento ssh X não é a ferramenta para se conectar a uma área de trabalho remota persistente. Algo como VNC ou NX / ssh é a melhor solução se você quiser se conectar e desconectar repetidamente de uma área de trabalho gráfica persistente.