Parece que um grande problema aqui é que você está tentando usar os drivers nvidia e nouveau. Você realmente tem que escolher um, como usar dois drivers para o mesmo cartão tende a levar a todos os tipos de conflitos imprevisíveis. Nouveau é o driver da comunidade open source para cartões NVidia, enquanto o driver nvidia é o driver blob oficial da NVidia. Embora usar o blob binário não seja 100% livre de cefaléia (ocasionalmente o instalador irá sobrescrever arquivos que podem ser divertidos para serem consertados), ele é geralmente considerado mais capaz quando se trata de aceleração 3D e jogabilidade moderna geral.
Colocar na lista negra um ou outro deve ser o suficiente, e parece que essa foi a sua experiência.