Estou um pouco surpreso ao ver um ponteiro ainda no arquivo de configuração do X11, que é uma maneira bastante legada de fazer as coisas. Eu espero que sejam essas configurações que estão sobrescrevendo as mudanças que você faz todas as vezes.
A menos que você já saiba que precisa especificamente configurar seu dispositivo usando o xorg.conf (ou seja, drivers nvidia) você pode tentar tirar a seção 'input device' do arquivo (não esqueça a entrada em "server layout" também.)
Faça o backup de sua configuração antes de tentar isso, então se você perder o mouse, basta abrir um terminal (CTRL + ALT + T) e restaurar o arquivo usando o teclado.