Você pode tentar descobrir qual driver sua placa sem fio usa executando
lsmod | egrep "b43|wl|brcm80211"
e depois executando
sudo rmmod yourdriver
sudo modprobe yourdriver
Como sua placa sem fio é o BCM4321, provavelmente você está executando o driver wl
(também conhecido como Broadcom STA), portanto, você executaria
sudo rmmod wl
sudo modprobe wl