Existem algumas placas wireless da Broadcom para as quais existem dois drivers. Como é de se esperar, um geralmente funciona bem e o outro não funciona bem. O utilitário 'Additional Drivers' oferece e instala o driver errado em alguns casos, como você viu.
Sugiro que você também execute:
sudo apt-get remove --purge bcmwl-kernel-source
Você também deve remover o bcma do arquivo blacklist.conf
. Uma das dependências do brcmsmac é bcma; você precisa de ambos.