Se você está tendo problemas reais com os drivers do Linux com a Broadcom, o que não é surpresa. Posso sugerir o uso do ndiswrapper e usar o driver do Windows. Isso cria um wrapper em torno do driver do Windows e permite usá-lo para wireless em sua máquina Linux.
Você pode instalá-lo a partir dos repositórios com o apt-get install ndiswrapper ndiswrapper-utils. Sua também tem uma ferramenta baseada em GUI do Ubuntu no framework GTK + chamado ndiswrapper-gtk. Basta adicionar o driver do Windows para isso e ver como vai. O GUI é muito auto explicativo.
Mas também postei o link para o wiki ndiswrapper para qualquer outra informação.