A versão do servidor é o que você deseja. Só difere da versão desktop em que não instala nenhum pacote relacionado ao desktop. Fora isso, é o mesmo, além do kernel, que é adaptado para as tarefas do servidor. A partir desse ponto, você pode adicionar o pacote que precisar, para criar seu próprio sistema.