A menos que haja uma chave de hardware para desligá-lo, apenas faça uma lista negra do módulo.
Você pode descobrir qual módulo está em uso com isso:
lspci -nnk | grep -iA2 net
... para colocar um módulo na lista negra, adicione blacklist module_name
a /etc/modprobe.d/blacklist.conf