Na maior parte, o RT kernel fará alterações sutis para garantir que seu frame time não seja excedido.
Mesmo assim, geralmente é considerado que a diferença é muito pequena, é mais do que um ajuste "se você não estiver lá, isso pode sugerir".
Se o desempenho do seu USB não for bom o suficiente para o que você está fazendo, tente reduzir o número de dispositivos conectados ao seu sistema para liberar recursos adicionais de hardware.
Ou talvez uma versão mais rápida do USB.
Até onde eu sei, não há um meio de impactar diretamente a velocidade da sua latência usb, infelizmente.