Não coloque seu módulo no diretório em /lib/modules , onde o modprobe procura por arquivos de módulo.
Se há um módulo que lida com este dispositivo e você quer pular o módulo, coloque o módulo na lista negra escrevendo um arquivo /etc/modprobe.d/my-blacklist.conf (o nome pode ser qualquer coisa “razoável” com a extensão .conf ) contendo
blacklist nameofthemodule