Apenas conectar um dispositivo de exibição como um monitor / TV a uma porta de exibição no seu servidor não afetará o desempenho. Tecnicamente, o sistema operacional já está preparado para enviar um sinal de exibição e esperar que você conecte um monitor para recebê-lo. A ação de enviar o sinal não seria registrada como intensiva em qualquer máquina feita desde 1980 (apenas algum humor).
Se você precisar instalar drivers especiais, software etc. para obter a exibição, isso poderá afetar o desempenho. A coisa mais importante a não fazer é instalar uma GUI ou qualquer outra coisa que esteja consumindo ciclos - como um software especializado de saída de TV, por exemplo.