Então, para começar, o monitor de recursos / perfmon usa um sistema de medição diferente do que o wireshark etc usa, então seria por isso que a latência é diferente.
Sem entrar nas profundezas da API do Windows, a diferença é causada pelo pós-processamento e baixa prioridade.
Como a latência real é de 1 ms, não há outras configurações que você possa aplicar e não estou ciente de nenhuma alteração que você possa fazer para "corrigir" o perfmon da API do Windows para exibir a latência "correta" .
Se você gosta eu posso encontrar a razão exata por que perfmon é mais lento, mas com base em experiências anteriores razão acima é por isso.