Instale o servidor Ubuntu se você não quiser um ambiente de desktop. Você sempre pode instalar o Unity mais tarde por:
sudo apt-get install ubuntu-desktop
Funcionaria quase de forma semelhante ao Ubuntu Desktop após você instalar o Unity. Veja this responda aqui para ver as diferenças entre o servidor e a versão desktop do Ubuntu.
Mas isso é completamente diferente do que você pediu. Por um lado, você não pode fazer nada apenas com o kernel. O que você está pedindo é o Ubuntu Core. Mais informações aqui .
Se você está confortável o suficiente com o Linux e não um iniciante, você pode tentar Arch Linux . É uma distribuição linux que é uma resposta à sua pergunta, e também tem uma muito boa documentação sobre como fazer o que você quer.