Até onde eu sei, não há desempenho perdido no que diz respeito a sobrecarga e outros detalhes. Isso depende principalmente do que você instalou. Você pode transformar o ubuntu do desktop no Ubuntu do servidor, instalando os mesmos programas de segurança / monitoramento / visualização. A edição do servidor vem com um conjunto melhor de pacotes pré-instalados, adequados a um servidor seguro e de fácil manutenção.
De qualquer forma, eu recomendaria NÃO instalar o servidor X e um gerenciador de desktop (Gnome, KDE, etc). Isso reduz o tempo de inicialização e o uso da memória / cpu.