Como verificar a qualidade da rede antes de executar benchmarks importantes?

Question

Eu tenho vários servidores CentOS em todo o mundo. Todos eles estão executando um script PHP que testa a latência de alguns serviços uma vez por minuto.

O problema é que, às vezes, esses servidores têm problemas locais e marcam incorretamente os serviços remotos como inativos ou com grande latência.

Existe algum tipo de teste que eu possa realizar antes dos principais testes de desempenho para garantir que o servidor / rede local não esteja tendo problemas e não afetará os benchmarks?

P.S. Eu não estou executando um serviço como Pingdom, então eu não posso fazer a verificação dos resultados por um servidor diferente. Eu tenho que confiar em cada servidor para enviar dados válidos e toda a verificação de dados deve ser local em cada servidor.