Iniciar o programa X provavelmente inicia um processo de segundo plano que não termina quando você fecha o programa (ou o programa em si não termina adequadamente). Consulte aqui para obter uma explicação sobre o que acontece.
Para corrigir isso, você pode tentar descobrir quais processos ainda estão em execução e impedir que eles sejam iniciados quando você efetuar login via SSH ou simplesmente matá-los antes de efetuar logout. Você pode certamente apenas matar a conexão SSH depois de ter feito o logout também.