Isso parece ter sido um problema no mouse.
O sistema estava em um comutador KVM e o mouse parecia funcionar bem no Windows (o outro computador no KVM), mas não no Ubuntu.
O mouse USB que eu tentei como substituto não rolou e acabou sendo por isso que estava na prateleira. Má sorte lá.
Quando descobri que o mouse USB estava ruim, tentei outro mouse sem fio exatamente na mesma configuração no KVM.
Tudo começou imediatamente a funcionar corretamente e não tive problemas durante uma semana.
Não sei explicar por que o mouse funciona no Windows e não no Ubuntu, mas não posso chamar isso de uma questão do Ubuntu neste momento, considerando que o mouse funcionou em 12.04 por algum tempo.
Aconselhar sobre problemas com o mouse é verificar o hardware primeiro dessa maneira.
Obtenha um mouse verificado e troque o mouse pelo sistema com problemas e veja se isso corrige o problema.
Indo para o outro lado, tirar o mouse do sistema com problema e verificar se ele funciona em um sistema diferente pode não isolar o problema.