O Network Manager geralmente tem problemas para trabalhar com a Broadcom.
Eu gosto de usar o WICD porque é um gerenciador de rede simples e fácil de usar. É uma alternativa muito boa para o gerenciador de rede no Ubuntu e parece sempre funcionar quando o Network Manager não funciona. Para instalá-lo basta abrir o terminal.
Para baixar e instalar o WICD
sudo apt-get install wicd-gtk
E agora você precisa desinstalar o NetworkManager:
sudo apt-get remove --purge network-manager-gnome network-manager
Agora você pode encontrar o WICD em seu menu. Inicie o WICD, encontre a rede que deseja usar e insira as informações necessárias, senha, criptografia, etc. e escolha Conectar automaticamente a esta rede. Você deveria estar bem para ir!
O WICD também pode estar disponível no Ubuntu Update Manager para que você possa consultá-lo primeiro, mas é importante desinstalar completamente o Network Manager para evitar conflitos !!