Sim, você pode desinstalar todos os pacotes kernel + header, exceto o kernel + header atualmente em execução. Isso é bom, mesmo que você nunca tenha iniciado esses kernels. Não há dependências cruzadas entre os diferentes pacotes do kernel. Cada pacote do kernel só tem dependências para sua própria versão.
Então, se você está atualmente usando a versão "3.2.0-24-generic", eu aconselho você a remover os seguintes pacotes do kernel e os pacotes correspondentes "linux-headers":
linux-image-3.2.0-36-generic
linux-image-3.2.0-37-generic
linux-image-3.2.0-38-generic
linux-image-3.2.0-39-generic
linux-image-3.2.0-40-generic
linux-image-3.2.0-41-generic
linux-image-3.2.0-43-generic
linux-image-3.2.0-44-generic
Eu sempre mantenho pelo menos dois kernels mais antigos, para o caso de precisar voltar.