Eu tenho exatamente a mesma configuração (BCM4322 e 1510 Wireless-N WLAN Mini-Card) e tive exatamente o mesmo problema.
Eu procurei um pouco e o que parecia ajudar até agora era reinstalar o módulo do kernel relacionado:
sudo apt-get install --reinstall bcmwl-kernel-source
Espero que isso ajude.