Se a força de descarga estiver habilitada no kernel ( zgrep FORCE_UNLOAD /proc/config.gz diz =y ), você pode rmmod -f do módulo do kernel problemático, para forçar o descarregamento.
De acordo com o patch que habilita isso , isso é apenas para desenvolvedores de kernel e pessoas desesperadas.
O melhor é provavelmente descobrir por que o módulo está em uso e por qual processo, mas pelo menos forçar o descarregamento deve tornar possível recarregar o módulo novamente.