Os kernels da linha principal são problemáticos porque são construídos com uma cadeia de ferramentas incompatível. Se você quer ter o kernel 3.4 mais novo de uma maneira fácil, pegue os arquivos .deb do Ubuntu + 1 (Quantal):
Você precisa dos pacotes linux-image-<version>-generic
e linux-headers-<version>-generic
vinculados das páginas acima. Além disso, linux-image-extra-<version>-generic
parece também ser necessário. Instale os cabeçalhos antes da imagem para permitir que o driver do bbswitch e nvidia seja construído corretamente.