Isso acontece porque o cursor do mouse remoto tem uma aceleração diferente do cursor do mouse local. Desabilite a aceleração do mouse no lado remoto e ele ficará sincronizado melhor.
Mais detalhes aqui: hpmouse-README.txt
Esse também é um problema nas caixas do Windows, alguns detalhes em um Postagem do fórum da HP
Versão resumida, use: xset m 1