Hoje eu precisava fazer o downgrade de 3.5.0-24 para 3.5.0-23 (eu instalei os dois). Eu consegui o seguinte:
sudo /etc/kernel/postrm.d/zz-update-grub 3.5.0-23-generic /boot/vmlinuz-3.5.0-23-generic
Você pode descobrir o seu kernel atual com:
uname -a
Você pode descobrir outros kernels instalados no seu computador com:
dpkg -l 'linux-*' | sed '/^ii/!d;/'"$(uname -r | sed "s/\(.*\)-\([^0-9]\+\)//")"'/d;s/^[^ ]* [^ ]* \([^ ]*\).*//;/[0-9]/!d'
Lembre-se de que você também pode precisar bloquear a versão do kernel - para evitar a atualização automática.