Pode ser o seu driver USB, tente desinstalar o driver e, em seguida, reinstale o driver.
Eu comecei agora com o Xubuntu (11.10) e não sei por que, mas meu mouse funciona de forma estranha. Se eu tentar mover meu mouse, ele se move em saltos e não é fluido (mas se eu usar meu trackpad, não haverá problemas). Outra coisa realmente estranha é se eu tirar o mouse USB e ligá-lo de volta, não funciona mais. Além disso, se eu colocar em uma unidade flash USB nada acontece. Talvez seja algum problema USB ou algo assim, mas eu não sei.
PC: Fujitsu Siemens Amilo.
Pode ser o seu driver USB, tente desinstalar o driver e, em seguida, reinstale o driver.