Você pode instalar o firmware manualmente:
wget http://www.lwfinger.com/b43-firmware/broadcom-wl-5.100.138.tar.bz2
tar xf broadcom-wl-5.100.138.tar.bz2
sudo apt-get install b43-fwcutter
sudo b43-fwcutter -w "/lib/firmware" broadcom-wl-5.100.138/linux/wl_apsta.o
Note que você deve ter o kernel 3.2 ou mais recente para o acima para funcionar. Consulte o link para obter mais detalhes.
Nesse caso, você não precisa do firmware-b43-installer
e pode removê-lo com segurança.