Primeiro você precisa saber qual kernel você está executando. Você faz isso com
$ uname -a
Linux hostname 3.2.0-74-generic #109-Ubuntu SMP Tue Dec 9 ....
O 3.2.0-74-generic é a parte interessante. Se você ver através dos arquivos, você notará que sempre há os mesmos 5 arquivos com o mesmo número. Afaik estes constroem cada versão / instalação de uma versão específica do kernel. Agora, para deletar uma versão mais antiga do kernel, basta deletar todos os 5 arquivos da versão antiga. Para excluir "3.13.0-34", basta excluir todos os arquivos com " 3.13.0-34 ".
Atualização: Enquanto procurava novamente eu encontrei uma solução mais simples aqui: Não é possível atualizar os aplicativos do ubuntu porque não há espaço suficiente em / boot
sudo apt-get remove --purge linux-image-3.11.0-XX-generic
Onde o linux-image-XXX deve ser preenchido com a versão do kernel que você deseja excluir.