Na verdade, há mais de um adaptador com esse nome de modelo. Para descobrir qual deles é o seu, digite:
lspci -vvnn | grep 14e4
Meu netbook rodando 14.04 tem um broadcom 4313 com 14e4: 4727 (rev 01), e o que eu fiz com este adaptador (que não é tão desagradável em 14.04 como antes) é para 4727.
Definitivamente purgar bcmwl-kernel-source como mencionado se você entrou em "drivers adicionais" ... infelizmente isso nem sempre é confiável. Eu não uso mais drivers adicionais.
Instalei o linux-firmware-nonfree, que foi um erro da minha parte. Se você instalou, puxe-o.
Siga os passos aqui:
link
Eu tive o lubuntu 14.04, o xubuntu 14.04 e agora o LXDE (baseado no 14.04) e ele funcionou todas as vezes.