Parece que eu estava perto. Depois de instalar os drivers proprietários, tive que colocar na lista negra os drivers do noveau. Aqui está o que eu fiz:
Edite /etc/modprobe.d/blacklist.conf
Adicione as seguintes linhas:
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
Agora reinicie e agora você deve ter os drivers nvidia carregados e permanecerem carregados.