Se você estiver executando um servidor X , você utilizará hardware gráfico, já que o X precisa de pelo menos alguma memória de vídeo para exibir qualquer coisa. Nas máquinas com GPUs Intel integradas, acho que (de como funciona em sistemas de desktop) usará alguma memória do sistema.
Mas, geralmente, você não precisa executar o X em um servidor, exceto talvez para a configuração inicial. As placas gráficas estão lá principalmente para servidores do Windows (que precisa de uma GUI para muitas tarefas).
Isso tudo não se aplica se você tiver X apenas para conceder aos clientes remotos acesso a aplicativos GUI. A tarefa de renderizar / exibir o material ficará a cargo dos clientes. (Na verdade, eu acredito - embora eu não tenha tentado - você pode instalar as bibliotecas X sem o servidor X)