Desde então, tentei jogar com jockey-text e descobri que jockey-text -l mostrava que xorg:nvidia_current_updates estava em uso, embora eu não pudesse instalá-lo no primeiro lugar.
Então eu desabilitei mas xorg:nvidia_experimental_304 estava em uso e quando eu repeti o antigo processo ele mostrou que experimental_310 também estava em uso.
Então, todos os 4 drivers estavam em uso "simultaneamente", o que não era ok, obviamente. Agora que há apenas um trabalho, eu tenho uma interface gráfica novamente.
Eu postei isso porque é assustador perder a GUI tão facilmente, esse tipo de bug é fácil de acontecer, já que o painel de drivers adicionais mostrou que NONE estava em uso ...