Não importa, não há mais diferenças em kernels.
A única diferença é o instalador e os pacotes padrão. Uma vez instalado, você pode ter exatamente o mesmo sistema operacional configurado, independentemente de iniciar a partir do servidor ou do instalador da área de trabalho.
Qual é a diferença entre o desktop e o servidor?
A primeira diferença está no conteúdo do CD. O CD "Servidor" evita incluir o que o Ubuntu considera pacotes de desktop (pacotes como o X, Gnome ou KDE), mas inclui pacotes relacionados ao servidor (Apache2, Bind9 e assim por diante). Usando um CD de desktop com uma instalação mínima e instalando, por exemplo, o apache2 da rede, pode-se obter o exatamente o mesmo resultado que pode ser obtido inserindo o CD do servidor e instalar o apache2 a partir do CD-ROM. O processo de instalação do Ubuntu Server Edition é um pouco diferente do Desktop Edition. Desde por padrão Ubuntu Server não tem uma GUI, o processo é orientado por menus, muito semelhante ao Processo alternativo de instalação de CD.
Antes de 12.04, o servidor Ubuntu instala um kernel otimizado para servidor por padrão. Desde 12.04, não há diferença no kernel entre o Ubuntu Desktop e Ubuntu Server desde que o linux-image-server é mesclado linux-image-generic.
Para versões do Ubuntu LTS anteriores a 12.04, o Ubuntu Desktop Edition recebe apenas 3 anos de suporte. Isso foi aumentado para 5 anos em Ubuntu LTS 12.04 Em contraste, todos os lançamentos do Ubuntu LTS Server Edition são suportados por 5 anos.