Como Martin disse, esse erro pertence aos seus back-ends, embora você possa garantir que não enfileire muitas solicitações em um back-end com falha e obtenha uma boa visão geral do status de back-end com o haproxy e seus recursos de enfileiramento e verificação de integridade. O registro do tempo de resposta upstream em nginx ($ upstream_response_time) também pode ser útil.