Conexão recusada por outro lado: 111: Conexão recusada

Question

Estou executando 25 trabalhos escravo, cada um com 50 solicitações simultâneas em uma máquina pesada (com o Ubuntu 12.04.3 LTS). Estou usando proxies para enviar solicitações. Depois de 15 minutos, recebo esse erro de quase todas as solicitações:

Connection was refused by other side: 111: Connection refused.

Entrei em contato com o provedor de serviços de proxy e eles dizem que esse problema é causado pela manipulação de soquetes do meu lado.

Portanto, meus scripts enviam 1250 solicitações simultâneas. Existe alguma maneira eu poderia descobrir onde está o problema? Existe um limite de conexão no Ubuntu?

    

Answer 1

Eu fiz uma pequena pesquisa sobre isso e encontrei um thread muito semelhante em serverfault aqui . Parece que seu kernel pode ser um fator limitante neste caso em particular, já que uma quantidade tão grande de conexões simultâneas não é muito comum. A resposta aceita afirma que pode ser devido ao estouro da tabela ip_conntrack.

No Ubuntu (Server), uma correção pode ser a configuração de alguns parâmetros personalizados em /etc/sysctl.conf

net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768    61000

Por favor, dê uma olhada no tópico ao qual me vinculei e sempre seja muito cuidadoso com configurações personalizadas.

    

Answer 2

Eu tive o mesmo problema. Tente executar sua aranha como superusuário. Eu estava executando o spider diretamente com o comando scrapy runspider , quando eu tentei executá-lo com:

sudo scrapy runspider

funcionou.