Apenas ter o GDM em execução (ou seja, quando nenhuma sessão da área de trabalho é iniciada) não deve ter muito impacto. Ele vai comer alguma memória, que eventualmente será trocada se necessário, mas duvido que isso tenha um impacto na CPU ou na E / S do disco quando inativo. Você também pode executar um DM mais claro ou nenhum.
Mas sim, pode ser ligado e desligado conforme necessário, caso em que não terá impacto algum. Você pode simplesmente desativar o serviço GDM / lightdm / whateverdm.
Como alternativa, no Red Hat e na família, geralmente os níveis de execução 3 e 5 são equivalentes, com runlevel 5 inicializando para uma GUI e runlevel 3 para nenhuma GUI . Portanto, se seu servidor for executado no nível de execução 3, ele não deverá iniciar automaticamente o X.