Estou assumindo que você usou a primeira opção na resposta. Para desinstalar o kernel 3.4 e continuar usando o kernel 3.2:
Você terá que inicializar no kernel 3.2 primeiro, então você não está removendo o kernel que está usando atualmente. Para fazer isso, você terá que selecionar o kernel apropriado na inicialização do menu do Grub. Se você normalmente não vê o menu do Grub, pressione Shift na inicialização, e ele aparecerá. Usando as teclas de seta, vá até "Opções avançadas para o Ubuntu [número da versão]" e pressione Enter . Em seguida, role para baixo até a versão mais recente do kernel 3.2, que é a versão 3.2.0-40, se você tiver a versão mais recente instalada. Certifique-se de não escolher o Modo de Recuperação.
Uma vez que você tenha iniciado, abra um terminal e remova todas as versões do kernel 3.4 com:
sudo apt-get purge linux-image-3.4.0-* linux-headers-3.4.0-*
Isso não exigirá que você instale qualquer software adicional, como o Synaptic, ele simplesmente removerá o kernel. Após a reinicialização, o kernel será desinstalado.