Você não precisa instalar a versão do servidor do Ubuntu, não é necessário, pois a diferença entre as versões do servidor e do desktop é principalmente na seleção do pacote, eles não são diferentes sistemas operacionais.
Eu recomendaria apenas desabilitar o servidor X na inicialização.