Para remover uma nova versão do kernel do Linux (por exemplo, linux-image-3.2.0-64-generic), use o seguinte comando:
sudo apt-get purge linux-image-3.2.0-64-generic linux-headers-3.2.0-64-generic linux-headers-3.2.0-64
Este comando removerá o kernel e os cabeçalhos associados e, em seguida, atualizará o carregador de inicialização GRUB. Inicializações subsequentes usarão a versão anterior do kernel mais recente em seu sistema.
Com o kubuntu 12.04 e o linux-image-3.2.0-64-generic, descobri que meus aplicativos do windows não seriam mais executados usando o crossover office. Daí eu rebaixei para 3.2.0-63.