Bem ... em geral, as duas distribuições diferem em que uma tem um ambiente gráfico e a outra não. Também acho que o kernel é compilado com menos módulos e otimizado para outros trabalhos. (apontando servidor Ubuntu)
A versão do servidor é mais leve que a área de trabalho.