Eu descobri
No modo de recuperação, selecione rede. Isso também montará o disco
Então eu posso inserir um shell de root e
apt-get remove --purge nvidia *
Após a reinicialização, consegui
sudo apt-get instala nvidia-current
E esse parece funcionar bem.