Se você quiser apenas executar o aplicativo GUI a partir de um monitor remoto e nunca desejar ter um ambiente gráfico na máquina local, não será necessário instalar mais nada.
Caso contrário, você precisará do X para desenhar o aplicativo na exibição de máquinas locais.
X inclui um gerenciador de janelas chamado twm mas também funciona sem um gerenciador de janelas (no entanto, é difícil usá-lo a menos que seja um aplicativo de tela cheia).