Depende do ramsize e das suas possibilidades. Se você é capaz de administrar o servidor completamente a partir de um console (mesmo quando o problema ocorre enquanto uma conexão ssh não é possível), então não há necessidade de manter qualquer GUI.
Se a máquina tiver bastante memória RAM, a área ocupada do Xserver na tela de login é muito pequena e o consumo de CPU é de quase 0%. Nesse caso, não há necessidade de pensar sobre isso. Pode consumir mais energia elétrica, mas acho que não é um grande ponto. Nesse caso, pode ser útil ter uma GUI algumas vezes.