De sua pergunta eu estou supondo que você não tem muita experiência com o Ubuntu. A maneira mais fácil e a que eu prefiro é usar o Ubuntu-Tweak. Mas lembre-se de que não está disponível nos repositórios oficiais do Ubuntu e pode ser instalado usando um PPA de terceiros.
sudo add-apt-repository ppa:tualatrix/ppa
sudo apt-get update
sudo apt-get install ubuntu-tweak
Você pode optar por excluir quais das versões anteriores deseja excluir, mesmo todas elas. Eu o recomendaria para novos usuários, pois não permitiria que você excluísse a versão atual do kernel que você está usando. E é mais sensato manter versões de 2-3 núcleos no caso de você querer usar uma versão anterior se algo der errado com a versão mais recente instalada.