Eu não tenho um adaptador sem fio USB para tentar, mas você pode usar o dmesg após o plugin para verificar o módulo que o kernel carrega para usá-lo, então rmmod ele.
Ou você pode usar alguma regra do udev para impedir que o módulo seja carregado.
Note que, a partir da pergunta, eu assumi que você é um usuário bastante avançado, se precisar de instruções mais detalhadas é só pedir.