Este era um problema conhecido com versões do kernel anteriores a 3.14 (veja o relatório de bugs aqui ). Tente atualizar para o kernel mais recente e veja se isso resolve o problema. (Se você não sabe como fazer isso, veja a página do askubuntu aqui ).
Além disso, tenho quase certeza que mexer com sua partição swap causou este problema, já que isso não deve mudar o comportamento da HID sobre I2C (meu conhecimento sobre isso é rudimentar, então, se alguém souber melhor, sinta-se livre para corrigir mim).