Um kernel em tempo real significa que é "determinístico", o que significa que é uma garantia difícil responder a uma interrupção em um determinado período de tempo. Além disso, os pacotes têm comprimentos diferentes, portanto, o tempo que leva para processar cada um deles varia. Mas claro, a interrupção pode ser respondida mais cedo. Então isso não vai te ajudar.
Como uma estimativa aproximada, eu pensaria que a CPU atual seria menor que um microssegundo e não deveria afetar adversamente seu tempo de ping para jogos ou outros itens. Mas você pode ignorar um pouco a CPU se a sua placa de rede suportar "TCP Offland Engine" ou TOE.