Eu sei que isso é muito mais tarde, mas: eu vejo algo similar com USB MIDI quando uma das minhas estações envia um relógio MIDI - é como se algumas das outras mensagens não em tempo real ficassem "presas" no buffer e fossem retransmitidas a cada agora e depois. Mas é totalmente não sistemático.
Desativar a transmissão do relógio na fonte e, em seguida, desconectar / reconectar os dispositivos USB, faz com que o problema desapareça.