Você pode usar o Ubuntu como um servidor, e você pode instalar o Gnome, KDE, etc no servidor Ubuntu. A diferença está no mix de aplicativos instalados. Assim, você poderia usar seu sistema existente como um servidor sem executar o shell da GUI, ou você pode instalar um shell diferente se quiser uma GUI leve, como xfce ou lxde. Eu tenho um antigo sistema Ubuntu 10.x que eu uso como servidor, e raramente faço login diretamente, então ele fica no prompt de login. Eu uso principalmente o ssh para logar, e se eu preciso logar diretamente, eu tenho uma escolha entre um terminal virtual ou um gui shell.
Se você realmente quer o Ubuntu Server "oficial", você precisará instalá-lo. Se você seguir esse caminho, também pode instalar uma versão LTS. 12.04 é a melhor escolha, e o Ubuntu tem um bom guia para configurar o servidor com aplicativos LAMP, wikimedia se desejar, etc.
Editar: Diferença do Kernel Padrão Como afirmado no comentário abaixo, existem algumas diferenças no kernel padrão para as edições do servidor e desktop. Existem certas otimizações que são ativadas ou desativadas para o Kernel vs desktop, embora essa informação não pareça ser muito proeminente na documentação principal que eu encontrei. Existem diferenças na programação e no tempo de IRQ, em que o kernel da área de trabalho é otimizado mais pela suavidade na GUI, mas não é bom para sistemas de servidor com volumes maiores. Mas, parece que o 12.04 parou de usar kernels diferentes para os dois.
Como dito abaixo, a versão 12.04 de 32 bits evidentemente vem apenas com a versão pae do kernel (o pae é o que permite que os computadores de 32 bits acessem mais de 3.2GB de RAM). Se o seu computador é muito, muito antigo, ou uma máquina Pentium M, pode não suportar pae. No meu sistema, eles podem ser trocados, mas se o seu computador não suporta pae, então pode haver algum problema com isso. Eu não vi isso mencionado na documentação até agora.
Se você deseja instalar um servidor, a instalação é diferente. Ele usa uma instalação não-GUI em vez do Live CD.