Minha solução foi realmente obscura, mas fácil. Eu tenho duas placas gráficas no meu computador, uma placa gráfica PCI-Express que eu uso e um controlador gráfico discreto onboard na minha placa-mãe, que eu não uso.
Só por curiosidade, eu tentei ligar o meu monitor para a placa gráfica embutida DVI e de repente eu tenho um desktop, embora não seja um visual bonito. Eu estou supondo que os drivers tentaram usar a primeira placa gráfica que encontrei no meu computador (o controlador de gráficos discreto onboard) em vez do que eu realmente queria usar.
Eu entrei nas configurações do meu BIOS e desativei os gráficos onboard. As coisas começaram corretamente depois disso.
Espero que isso ajude alguém no futuro a ter problemas com os drivers da NVIDIA.