Eu também tive esse problema. Você pode tentar configurá-lo com o comando xinput . Como:
xinput --set-prop 12 269 -0.5
Onde o 12
é o ID do mouse, 269
é o código para "libinput Accel Speed", e o -0.5
está dizendo para ele ir mais devagar (eu acho que 0 é a linha de base, então você vai abaixo de 0). Se ainda assim for muito rápido, você pode tentar -0,6, -0,7, etc. Para redefini-lo, ajuste-o novamente para 0.0.