Tive o mesmo problema com o mesmo cartão BCM4313 . Você não usa o driver adequado ( brcmsmac ), o driver correto é wl .
Instale o proprietário da Broadcom.
Em seguida, lista negra em /etc/modprob.d/blacklist.conf
blacklist bcm43xx
blacklist brcmsmac
blacklist bcma
blacklist b43
blacklist ssb
Reinicie e verifique se:
lspci -k | grep wl
Espero que funcione para você como para mim (sinal muito strong).