Tenho o Broadcom 4311 e verifiquei no site da Broadcoms a versão mais recente, em:
5.100.82.112 de 25 de outubro de 2011, é a mesma versão que veio instalada no DVD do Ubuntu 12.04 x64 1.5 GB !! O que significa ... não há versão mais recente. Por isso, recomendo que você permaneça no dia 12.04 até que uma nova versão seja disponibilizada pela Broadcom.
Eu tive o mesmo problema no passado, também recentemente tentando instalar o Kernel 3.4, que ainda não é suportado.
Você tem que esperar.