Sugiro uma instalação mínima usando um instalador alternativo:
Faça o download do mini.iso e instale-o - quando perguntado sobre o kernel do Linux, escolha "linux-generic"
Depois disso, você deve ser questionado sobre sua área de trabalho. Escolha um, ou apenas continue sem selecionar um, se você realmente não quer um desktop gráfico (servidor puro)
Deve ficar tudo bem, avise-nos:)