Você não precisa deixar os kernels antigos e não precisa removê-los.
Os velhos kernels apenas ocupam espaço no seu disco rígido. É isso aí. Você pode ter um ou dois kernels antigos instalados apenas no caso de você querer inicializar com um deles.
Os kernels antigos não afetam o sistema de trabalho de forma alguma.
Então, é 100% SEGURO deixar os kernels antigos instalados se essa for a questão. Eles não serão usados a menos que você inicie deliberadamente com um deles.