Você não precisa de um servidor X no lado remoto da sessão X, mas precisará do xauth, que geralmente é incluído em um pacote relacionado ao X (xorg-x11-xauth no RHEL e Fedora). Se você quiser executar qualquer programa que use bibliotecas X (ou bibliotecas que requeiram as bibliotecas X), você precisará de bibliotecas X no final remoto para executar esses programas.