Sim, você pode, mas não instala os dois. Você acabou de instalar os pacotes "ausentes".
Em geral, a única diferença é que na edição do Servidor você não tem um desktop e pacotes relacionados (X, processador de texto, navegador gráfico, etc.) e na edição Desktop você não tem pacotes relacionados ao servidor .
Você pode iniciar a partir da edição Server e instalar os pacotes da área de trabalho (esse é o caminho mais difícil) ou iniciar a partir da edição Desktop e instalar pacotes de servidor (por exemplo, apache2, ssh, php, MySQL etc.).
Desde o Ubuntu 12.04, ambas as edições também usam o mesmo kernel.
Para mais detalhes, consulte Perguntas freqüentes sobre o Ubuntu Server