Se você atualizar um kernel, tudo o que você vai fazer é colocar alguns arquivos em
/boot/{config, initrd, System.map, vmlinuz}-{version}
/usr/src/linux-headers-{version}
O kernel em si é apenas um executável. Isso é iniciado pelo bootloader (a configuração está em /boot/grub/grub.cfg). Por sua vez, isso permite que um usuário tenha várias versões de kernel instaladas simultaneamente. Não sabendo como você instalou a versão do kernel 3.4, eu não acho que instalar estas atualizações irá causar algum dano ao seu computador (especialmente se você baixou o .deb do kernel.org e o instalou manualmente).
Se você puder encontrar os arquivos para um kernel 3.2 em / boot / e os / usr / src / linux-headers correspondentes, você deve estar seguro. Desde que você deve ser capaz de inicializar um kernel 3.2 no caso de seu kernel 3.4 de alguma forma não funcionar mais.
No entanto, eu recomendaria usar um PPA para kernels instáveis, já que vai cuidar de todas as dependências.
As sugestões para atualizar os arquivos do kernel 3.2 podem vir do fato de que você não conseguiu instalar o kernel 3.4 corretamente e ainda está executando um kernel 3.2. Neste caso eu recomendo usar o PPA para instalar o kernel 3.4.
Este comentário fornece uma boa explicação sobre como atualizar para kernels instáveis