Você pode ser afetado por algo semelhante ao o movimento do touchpad do Thinkpad X220 é extremamente impreciso (libinput relatório de erro). Em essência, para alguns firmwares:
[the] touchpad only sends x/y events every 50 device units. libinput has a custom acceleration method for that.
(Comentário # 10 no relatório de erros acima.)
Isso explicaria o comportamento que você está vendo. Eu tive a mesma experiência em um ThinkPad x240 (apesar do fato de que o relatório de bug tem como alvo x220), e a correção dos comentários # 10 e # 13 naquele relatório de bug resolveu isso para mim.
Se isso funcionar para você, talvez valha a pena dizer ao pessoal da libinput para que ele estenda o "método de aceleração personalizada" para mais firmwares.