Depois de mais alguns testes eu descobri que o problema acontece devido ao meu mouse, eu só verifiquei para conectar um segundo e usá-lo.
Meu mouse que causa o problema é um Cyborg R.A.T 9. Depois que eu procurei um google eu encontrei esta solução:
Section "InputClass"
Identifier "R.A.T."
MatchProduct "R.A.T.7|R.A.T.9"
MatchDevicePath "/dev/input/event*"
Option "Buttons” “17"
Option "ButtonMapping" "1 2 3 4 5 0 0 8 9 7 6 12 0 0 0 16 17"
Option "AutoReleaseButtons" "13 14 15"
Option "ZAxisMapping" "4 5 6 7"
EndSection
Depois de criar o arquivo /usr/share/X11/xorg.conf.d/20-cyborgrat9.conf com este conteúdo, ele funciona bem.