Não tenho certeza se você está usando o KDE ou não, mas eu tenho um problema parecido e tenho certeza que está relacionado ao KDE.
Esta não é uma solução permanente, mas vai tirar você de uma pitada no tempo médio.
O que funciona para mim é que você muda o TTY pressionando alt + F2 e, em seguida, volta ao seu TTY onde sua sessão X está rodando.
Eu costumava reciclar o gatilho do monitor gfx simplesmente reiniciando o monitor. Mas isso é mais rápido.