O problema mais provável aqui é que o mouse está quebrado. Tente desconectar o mouse e veja se o problema desaparece. Se isso acontecer, então é um problema com o mouse em si, não com o Ubuntu. O problema mais provável é que há alguma sujeira ou algo semelhante no mouse, o que confunde os sensores.
Se é o próprio mouse, você pode pegar um novo, ou desmontá-lo com uma chave de fenda, e ver se há alguma sujeira ou objeto ali que você possa remover. / p>