Esta é uma resposta parcial. Meu problema foi resolvido, mas eu não entendi completamente porque / como.
Eu respondo a minha própria pergunta, esperando que isso possa trazer alguma luz para outros que tenham problemas similares, mas eles devem se certificar de que podem desfazer tudo o que tentam, já que não posso garantir que isso funcione para eles
Inicialize o modo de recuperação do Linux (aqui os gráficos ainda ficarão ruins), baixe os drivers da NVIDIA, instale-os, mate x e reinicie escolhendo Linux (não o modo de recuperação)