Estou mantendo alguns rastreadores da web. Eu quero melhorar nosso sistema de carga / aceleração para ser mais inteligente.
Por causa eu olho para códigos de resposta, e acelerarei para cima ou para baixo baseado nisso. No entanto, gostaria que o sistema fosse melhor em ajustar dinamicamente as taxas com base no comportamento do servidor que está sendo solicitado. Digamos que essa seja uma hora do dia muito movimentada, e o servidor de destino está passando por uma quantidade incomum de tráfego ou outra coisa. Então eu gostaria de detectá-lo, diminuir o pedido do meu lado para ser educado, e acelerar quando o servidor estiver ok novamente.
Quais seriam os sintomas, que eu deveria concluir como indicadores para diminuir o ritmo? E quais seriam meus indicadores para acelerar novamente?
Estou pensando em registrar o tempo de resposta para cada solicitação, por exemplo, a última hora. O problema é que é extremamente difícil encontrar uma média razoável / tempo médio de solicitação para comparar porque todos os servidores são diferentes e até mesmo recursos dentro do mesmo site respondem com uma velocidade muito diferente. Outra coisa sobre a qual tenho pensado é procurar flutuações no tempo de resposta, mas não sei se é um sintoma comum ou é mais comum que todas as solicitações demorem mais.