Seu problema (provavelmente) é com o nouveau. Eu já vi isso antes em máquinas com chipsets Optimus, mas aparentemente ele também pode dar uma cara feia em máquinas que têm apenas hardware NVIDIA.
Experimente e passe
nouveau.modeset=0
na linha de comando do kernel ao iniciar a máquina.