Existem 3 arquivos que você precisará remover, mais se você estiver usando uma máquina virtual também. Mas estes são os principais.
Abra o synaptic, use a pesquisa para encontrar os kernels instalados
-
linux-headers-3.2.x.x
-
linux-headers-3.2.x.x-generic
(possivelmente genérico-pae ou i686) -
linux-image-3.2.x.x
Deve ser fácil de remover. Depois, execute
sudo update-grub