Isto é copiado da própria página wiki do Ubuntu:
Qual é a diferença entre o desktop e o servidor?
A primeira diferença está no conteúdo do CD. O CD "Server" evita incluir o que o Ubuntu considera os pacotes de desktop (pacotes como o X, o Gnome ou o KDE), mas inclui pacotes relacionados ao servidor (Apache2, Bind9 e assim por diante). Usando um CD Desktop com uma instalação mínima e instalando, por exemplo, o apache2 da rede, pode-se obter exatamente o mesmo resultado que pode ser obtido inserindo o CD do Servidor e instalando o apache2 a partir do CD-ROM.
O processo de instalação do Ubuntu Server Edition é um pouco diferente do Desktop Edition. Como por padrão o Ubuntu Server não possui uma GUI, o processo é orientado por menus, muito semelhante ao processo de instalação do CD Alternativo.
Antes de 12.04, o servidor Ubuntu instala um kernel otimizado para servidor por padrão. Desde 12.04, não há diferença no kernel entre o Ubuntu Desktop e o Ubuntu Server, já que o linux-image-server é mesclado no linux-image-generic.
Para versões do Ubuntu LTS anteriores a 12.04, o Ubuntu Desktop Edition recebe apenas 3 anos de suporte. Isso foi aumentado para 5 anos no Ubuntu LTS 12.04 Em contraste, todas as versões do Ubuntu LTS Server Edition são suportadas por 5 anos.