Esqueci de colocar como resolvi isso sempre que descobri, mas estou respondendo mesmo assim para ajudar qualquer outra pessoa que possa ter esse problema. A pessoa estava usando uma placa gráfica muito antiga e não era totalmente suportada pelo driver Nouveau. Eu configurá-lo para usar o driver binário legado Nvidia (304.135) e funcionou.