Eu finalmente encontrei a resposta para isso fazendo um
grep -r xmodmap /home/username/.c*
que retornou
/home/username/.config/autostart/xmodmap.desktop:Exec=xmodmap -e "pointer = 1 2 3 6 7 4 5"
Algo que eu devo ter colocado em prática anos atrás para consertar outra coisa (eu deletei esse arquivo agora). Obrigado a todos pela ajuda