Nesse cenário, o servidor não precisa do X em execução. Quando você faz ssh -X , você está dizendo ao servidor que o servidor X está rodando em sua máquina local, e então a saída de quaisquer aplicativos gui deve ser enviada pelo túnel para o servidor X rodando localmente (a máquina que você está rodando ssh < em> de ).
Você pode iniciar o X sem iniciar uma área de trabalho na máquina em que está executando o ssh emitindo startx da linha de comando (desde que você não tenha um comando em ~/.xinitrc que inicie uma área de trabalho).