A partir da verificação de /boot/config-3.11.0-13-generic
(o seu pode ser diferente), eu diria que ele está embutido no kernel, assim você não pode descarregar / recarregá-lo.
$ grep -i BCMA /boot/config-3.11.0-13-generic
[...]
CONFIG_BCMA_HOST_PCI_POSSIBLE=y
CONFIG_BCMA_HOST_PCI=y
[...]