Você pode pensar no kernel como apenas outro programa no seu computador. A versão específica escolhida não afeta os outros programas instalados.
Geralmente, versões mais recentes do kernel fornecem maior estabilidade do sistema e melhor suporte a hardware. À medida que se tornam disponíveis, eles são usados no Ubuntu, mas não são estritamente associados a qualquer versão específica do Ubuntu. O kernel é desenvolvido separadamente do Ubuntu, e cada versão do Ubuntu provavelmente receberá várias atualizações do kernel ao longo de sua vida útil.
O Ubuntu só roda um kernel de cada vez, portanto, em um mundo ideal, poderíamos instalar novos kernels assim como instalamos aplicativos mais novos - no lugar da versão antiga, deixando apenas uma cópia instalada de cada vez. Como o kernel é vital para a capacidade de inicialização do sistema, ele recebe tratamento especial. Versões mais antigas são mantidas como backups no caso de uma versão mais nova não funcionar. Você nunca deve usá-los, mas, hipoteticamente, se um dia o Ubuntu não inicializar após uma atualização, você poderá recuperar selecionando um kernel mais antigo.
Não faz mal deixar os kernels mais antigos instalados, então, a menos que você esteja ficando sem espaço em disco, não há realmente nenhum motivo para removê-los.