3.2 é apenas para o Ubuntu 12.04 no momento. Você deve esperar até que o time do kernel-ppa o carregue para o 10.04. Isso será em meados de maio. Você deve remover o kernel do synaptic.
Se você quiser adicionar um novo kernel para sua configuração lúcida, tente o kernel-ppa. O kernel mais recente é o 3.0.0-15 (o kernel onirico). É backported para trabalhar em lucidez. (O kernel preciso estará aqui também após o lançamento)
sudo apt-add-repository ppa:kernel-ppa/ppa
sudo apt-get update
E abra o synaptic e você encontrará o novo meta-pacote do kernel. (No meu sistema de 32 bits: linux-image-generic-lts-backport-oneiric
)
Mas se você realmente precisa do kernel 3.2, atualize seu ubuntu para o preciso. Funciona muito bem nas minhas máquinas de teste.