Eu "consertei" isso substituindo o driver nouveau pelo driver nvidia. Agora os problemas desapareceram completamente.
Eu acho que agora preciso ler sobre como ter certeza de que a nvidia não vai drenar minha bateria ...
Se alguém conhece algum método melhor que não envolva um driver não-livre, me avise.