Até onde eu sei, você precisaria compilar seu próprio kernel para 3.2 em 11.04.
Existe um kernel ppa mainline aqui:
Mas parece que eles empacotaram 3,2 para 11,10 e 12,04 (não 11,04).
Você sabe como compilar um kernel? O que faz você querer o kernel 3.2?