Eu tive o mesmo problema com meu netbook em 12.04. Você quer o firmware proprietário, então primeiro você deve instalar o linux-firmware-nonfree.
Mas há mais de um adaptador chamado broadcom 4313. Você precisará do pci id. Entre no terminal:
lspci -vvnn | grep 14e4
O meu é 14e4: 4727 (rev 01), e não me sinto qualificado para garantir que isso funcionaria para os outros, mas funcionou para mim:
Eu corri 12.04, 13.04 e agora 13.10 no meu netbook com o adaptador 4313/4727 e usei um backport todas as vezes, mas ele está melhorando a cada nova versão. Eu corri por algum tempo em 13.10 com apenas a instalação do firmware e não sabia que deveria usar um backport por um tempo.
Esperando ansiosamente pelos 14.04 lts ... 12.04 simplesmente não funciona tão bem neste netbook, que também tem o gpu cedarview. Espero que não precise de um backport na próxima vez ...