Você está no caminho certo com xset m
, mas provavelmente desejará uma configuração bem menor do que a que está usando ( source ):
First get the current setting:
xset q | grep -A 1 Pointer
To set new values, type:
xset m ACCELERATION THRESHOLD
where ACCELERATION defines how many times faster the cursor will move than the default speed, when the cursor moves more than THRESHOLD pixels in a short time. ACCELERATION can be a fraction, so if you want to slow down the mouse you can use 1/2, and if 3 is slightly too fast, but 2 is too slow, you can use 5/2, etc.
Então, o que você está fazendo com xset m 5 1
é configurar o mouse para ser 5 vezes mais rápido do que a configuração padrão. Tente algo como xset m 1/3 4
.