não. Ao fazer ssh -X , as janelas serão abertas na sua sessão local e o usuário no host remoto nem perceberá.
Ao conectar usando ssh (mesmo com o encaminhamento do X11), você não abre nenhuma sessão gráfica no host remoto, mas a execução do aplicativo lá está sendo executada no X-Server que está no seu próprio computador.