Reinicialize sua máquina e pressione e segure a tecla SHIFT até que o menu Grub apareça. Selecione a segunda opção Enhanced Options for Ubuntu e depois a segunda opção ... (recovery mode) novamente.
Em Recovery Menu escolha root e digite mount -o remount,rw / para remontar o sistema de arquivos com permissões de leitura e gravação.
Agora você pode continuar limpando os drivers nvidia. Execute dpkg -l | grep nvidia | grep -v nvidia-common para ver uma lista de todos os pacotes. Execute 'apt-get remove --purge' com todos os pacotes acima.