Os drivers estão embutidos no kernel; Eu não acredito que seja possível removê-los sem re-compilar o kernel. Pode haver uma maneira de desativá-los; não tenho certeza.
Sugiro remover fisicamente o cartão.
Observe que as pessoas ainda poderão inserir cartões WiFi USB, independentemente de você remover os drivers ou a placa interna.