Não se preocupe. Kernels podem ter irmãos mais velhos.
As versões do kernel podem apenas viver ao lado umas das outras em um sistema Ubuntu. O Grub será configurado para inicializar a partir do mais recente por padrão.
Eu recomendaria manter o fornecido com o Ubuntu. Caso algo esteja com defeito com os que você instalou, você pode facilmente inicializar uma versão suportada pressionando Shift no estágio inicial para selecionar a versão que você quer.
Para ver quais versões do kernel você instalou agora, faça:
ls -al /boot/vmlinuz-*
ou usando o gerenciamento de pacotes:
dpkg -l linux-* | grep ^i
Use pacotes
Como afirmado nos comentários, é importante usar pacotes em vez de compilar e instalar a partir do código-fonte. Construir um kernel é bom, mas é bem fácil fazer um pacote e usá-lo. É para evitar confusão no gerenciamento de pacotes e fácil desinstalação, caso algo não seja exatamente o que você esperava.