Se você simplesmente removeu o bcmwl-kernel-source, ele deixa um arquivo de lista negra que impede o carregamento do driver nativo b43. Vamos removê-lo e ver se conseguimos seu funcionamento sem fio:
sudo rm /etc/modprobe.d/blacklist-bcm43.conf
sudo modprobe b43
O seu wireless agora está funcionando? Se não, tente uma reinicialização. Se ainda não estiver funcionando, edite sua pergunta para adicionar o resultado de:
dmesg | grep b43
Por favor, ignore 'Drivers adicionais'. Ele instala o driver errado para o seu dispositivo.