Se você tiver um mouse Bluetooth e tiver um tráfego Wi-Fi alto, essa pode ser a causa. Existem bugs rastreados no launchpad para diferentes hardwares. Se você não baixar coisas com extrema velocidade, mas sofrer esse problema, então é algo diferente.