A instalação do ndisgtk resolverá seu problema. É uma interface gráfica para NDISWrapper onde você pode adicionar ou remover drivers. Eu não sei exatamente o chipset Broadcom que você tem, mas se os componentes dos dois não estiverem confiando um no outro, você pode remover o driver de 32 bits com certeza.
Espero poder ajudar:)