Na minha experiência, isso ocorre quando algum barramento começa a ficar totalmente saturado / ocupado. Eu tinha alguns problemas de mouse e teclado assim quando eu executava vários dispositivos USB no mesmo barramento, como câmeras. Quando tive este problema, pude executar dmesg e ver mensagens no log explicando que os dados do USB estavam sendo perdidos ou que as taxas estavam sendo reduzidas. Observe também que, embora não faça sentido, de alguma forma, que o HDMI etc. esteja interferindo no USB, eles podem estar compartilhando algum barramento ou módulo no hardware - mesmo que você tenha uma boa CPU.
Supondo que o ônibus esteja ocupado, você pode tentar algumas coisas. A solução mais fácil e idiota seria simplesmente desconectar alguns dispositivos que você não precisa. Por exemplo, no meu caso eu tinha câmeras web conectadas que, mesmo que não fossem usadas, enviariam dados USB.
Se você tocou cadeiras musicais USB e PCI-E o máximo possível, tente tirar a interface de hardware da equação e conecte-se via Teamviewer ou algum outro teste sintético que não envolva nenhum hardware. Se isso funciona, então você sabe que seu barramento está no máximo de alguma forma, provavelmente sua placa-mãe precisa ser substituída se for o caso ou você precisa encontrar um barramento diferente para entrar de alguma forma - possivelmente bluetooth - mas novamente como eles se combinam sua placa-mãe pode produzir os mesmos limites.
Por fim, você pode tentar alterar as taxas de pesquisa ou as taxas de atualização de dispositivos que usam o mesmo barramento. Isso significa essencialmente ter um mouse menos responsivo ou menos fps - ambas opções não surpreendentes se você quiser manter a alta resolução no barramento limitado.
TL; DR - Execute dmesg veja o que o ônibus está saturando
