Por favor, tente:
sudo apt-get purge bcmwl-kernel-source
sudo modprobe -rv wl
sudo modprobe -v brcmsmac
se houver algum erro, continue com os comandos e reinicie. Se você não instalou nenhum outro driver a não ser o driver wl, então seu wireless deve estar funcionando.