Sim.
O X11-Forwarding não requer nenhum tipo de capacidade gráfica no host e é comumente usado nessa configuração (entre muitos outros, sem dúvida) ao manter remotamente as VMs. [Se você estiver usando Linux, a única coisa que você precisa instalar no host remoto por meio de um ambiente "X" é o xauth, e possivelmente algumas fontes - você nem precisa do X instalado].