curl request resulta em carga pesada no servidor

Question

Nós consumimos um XML Datafeed enviando solicitações cURL para o servidor do provedor. Eles não nos permitem armazenar em cache, portanto, cada visualização de página é uma nova solicitação cURL. Duas vezes este ano, nosso servidor caiu com a explicação de nossa empresa de servidores, sendo que o IP que pertence ao domínio do provedor está nos enviando muito tráfego. Agora, parece-me que "enviando muito tráfego", o que pode significar apenas as nossas respostas aos nossos pedidos, mas, novamente, se é realmente eles enviando pedidos para nós, eu preciso ter certeza disso antes de começar a discutir técnicos para consertar um problema que pode estar do nosso lado. Se o problema está do nosso lado, posso limitar os pedidos? (Isto é personalizado codificado em PHP. Se isso é muito em uma pergunta, me avise e vou dividi-lo em pedaços menores.)

EDITAR: Aqui está o que meu provedor de hospedagem disse: (Eles pensavam que a unidade / dev / sda estava falhando.)

Upon rebooting the server into single-user mode, the drives are not reporting any errors. Additionally, all of the filesystems are intact. We rebooted the server and everything came back online properly. I did see that there was a massive load spike on the server at the time that it stopped responding, and that around that time there were a lot of connections form the IP 208.215.218.15. There are also a lot of connections from that IP right now. This is the info on that IP:

Quick Technologies Inc. UU-208-215-218 (NET-208-215-218-0-1) 208.215.218.0 - 208.215.218.255 MCI Communications Services, Inc. d/b/a Verizon Business UUNET1996B (NET-208-192-0-0-1) 208.192.0.0 - 208.255.255.255

Connections from this IP quickly filled your network and I was forced to null-route connections from this IP in order to keep the network up. If this was somehow legitimate, let me know and I can unblock this IP.

At this time, your sites are up. If you have any questions, or there is anything else I can do for you, please let me know.

Então eles me deram um log assim: (ip local mudou para privacidade)

root@fbs [~/system-snapshot/system-snapshot-HG-backup-20120604-144747]# grep 208.215.218.15 112.log tcp 0 0 123.123.123.198:45948 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:45946 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:45922 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:45921 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:45974 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:45973 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46037 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46036 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46033 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46032 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46030 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46029 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46028 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46026 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46067 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46063 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46062 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46061 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46060 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:46059 208.215.218.15:443 TIME_WAIT - tcp 0 0 123.123.123.198:40448 208.215.218.15:80 TIME_WAIT - tcp 0 0 123.123.123.198:40449 208.215.218.15:80 TIME_WAIT - tcp 0 0 123.123.123.198:40450 208.215.218.15:80 TIME_WAIT - tcp 0 0 123.123.123.198:40451 208.215.218.15:80 TIME_WAIT - tcp 0 0 123.123.123.198:40452 208.215.218.15:80 TIME_WAIT -

Havia muitas, muitas linhas semelhantes abaixo disso. Eles finalmente responderam em outra resposta:

Here's some random samples of network traffic for that IP, and the arrows show the direction (and amount of data) FROM your server or TO your server from that IP:

fbs.foobar.net => 208.215.218.15 5.84Kb 3.51Kb 3.19Kb <= 16.7Kb 181Kb 92.1Kb

fbs.foobar.net => 208.215.218.15 11.3Kb 23.1Kb 16.2Kb <= 0b 27.9Kb 152Kb ...

Currently there are 27 connections from 208.215.218.15, but the traffic is minimal at present, as seen above (5-16.7 Kbs)

Portanto, parece que o tráfego deles para nós provavelmente está limitado a respostas a nossas solicitações de curl, mas ainda não estou 100% claro sobre isso, ou por que ou se isso fez com que o servidor parasse de responder.