Dependendo de qual driver você está usando para a placa nVidia (nouveau, nv ou nvidia) - você deve ser capaz de vê-lo com lsmod - a solução é colocá-lo na lista negra para o udev. Por exemplo, se o seu driver for nouveau, edite o /etc/modprobe.d/blacklist.conf e anexe uma linha contendo nouveau da lista negra , depois reinicie e lsmod novamente - não deveria estar mais lá.