Em vez do driver Broadcom STA, acho que você terá muito mais sorte com o driver nativo e seu firmware. Por favor, abra um terminal e faça:
sudo apt-get install firmware-b43-lpphy-installer
sudo apt-get remove --purge bcmwl-kernel-source
sudo modprobe -r wl
sudo modprobe b43
Pode ser necessário reiniciar. O seu desempenho sem fio funciona melhor agora?