O problema deve estar na interferência de rádio. Wi-Fi e BT usam as mesmas frequências na banda de 2,4 GHz.
Existe uma tecnologia chamada "coexistência bluetooth" que permite evitar interferências.
Infelizmente, a coexistência de bluetooth não funciona bem nos drivers Linux sem fio da Broadcom.
E não há outro driver alternativo para esse adaptador.
Receio que não exista solução para isso, exceto a substituição do adaptador sem fio.