A instalação não resultará em sobrecarga de memória ou da CPU. A instalação só irá ocupar espaço em disco.
No entanto, se você se encontrar no monitor conectado à máquina e for forçado a usar uma versão commandline / text only de um utilitário para qual tarefa você está mais familiarizado com uma ferramenta gráfica, você pode sempre inicializar o X e "o cpu / mem para essa tarefa e depois desligá-lo.
Por exemplo alguns acham que as versões GUI dos gerenciadores de pacotes são mais intuitivas que suas variantes interativas somente texto (baseadas em curses) e / ou versões de linha de comando. Minha impressão nos últimos anos é que, se todos os três existirem, as versões da GUI e da linha de comando receberam mais atenção do desenvolvimento do que a versão baseada em curses.
Mas se você não estiver no "console" (supondo que ele suporte uma GUI) e você normalmente usa ssh de uma estação de trabalho executando X, então você deve ser capaz de usar essas ferramentas baseadas na GUI, sem instalar X no servidor. Essas ferramentas são clientes X e suas bibliotecas são instaladas normalmente. Por exemplo. Se você instalar o Firefox no seu servidor, mas não no X, você pode executá-lo, iniciado a partir do servidor, exibido usando o X Window System em sua estação de trabalho.
Esteja ciente de que muitas instalações do X vêm com ambientes de desktop adicionais e, quando instaladas, geralmente são iniciadas automaticamente. Você pode, no entanto, desligar este início automático, detalhes dependendo da sua distribuição.