Não há uma maneira direta que conheça para obter os processos que estão usando um módulo.
Você pode tentar lsmod | grep <module name> para ver todos os módulos do kernel carregados que estão usando um módulo.
Você também pode tentar dmesg | grep <module name> para ver se os logs do kernel têm alguma pista sobre quais processos podem estar usando um módulo.
Você pode remover o módulo usando rmmod --force <module_name> .
Quanto ao módulo nvidia, você deve ser capaz de removê-lo se você desligar o X11.
init 4
rmmod nvidia
funcionou para mim.