Como resolver uma série crescente de incidentes de resposta 403 acessando páginas da Web

Question

Estou tendo problemas significativos ao acessar as páginas da Web https a partir de casa em qualquer dispositivo. Inicialmente foi apenas usps.com, mas cresceu para Bed Bath and Beyond e AA.com. Especificamente de qualquer dispositivo na minha rede doméstica (IOS, Mac e Windows) eu recebo um

Acesso negado

Você não tem permissão para acessar "web-url" neste servidor.

Referência # 18.25a75b68.1502569054.2c13e2cf

Eu sei que não é o site que eu pulei em um dos nossos servidores da AWS e posso acessar esses mesmos sites. Eu limpei caches e cookies. Eu tentei IE, Chrome, Firefox e Safari. Eu desliguei meu modem e roteador por dez minutos e configurei o dns manualmente para o Googles. Ainda não há sucesso.

Eu fiz um tracert e pinguei um dos sites e tudo parece bom (mais ou menos).

EutambémolheiparaodesenvolvedormodnoFirefoxevejoquearespostaestáchegandoaoservidorEstourecebendoumaresposta403doservidor.

Eu quero observar que eu realmente tenho dois modems e dois serviços de internet em casa. Eu posso acessar esses recursos da minha linha de negócios, mas preciso acessá-los a partir da linha inicial - essa é uma maneira complicada de dizer que esse problema parece específico do meu roteador doméstico e / ou modem e / ou endereço IP. Eu pedi ao meu ISP para mudar o meu endereço IP e eles não vão.

    

Answer 1

Eu fiz três coisas diferentes, uma das quais provavelmente resolveu o problema.

1. Substituiu o modem Primeiro, eu acreditava que substituir meu modem faria com que eu recebesse um novo endereço IP, eu estava pensando em um novo e, assim, comprei um novo modem. Enquanto na chamada com o meu ISP para trazer o modem on-line, descobri que o endereço IP da empresa de cabo é atribuído ao roteador, não ao modem.

2. Tem um novo endereço IP Expliquei frustrantemente para a pessoa que ajudava o que eu tinha feito até agora e indiquei que compraria um novo roteador, se necessário. Ele foi mais favorável e ajudou-me com os passos para obter um novo endereço IP. O que eu precisava fazer era redefinir o modem - isso me daria a melhor oportunidade para uma atribuição passiva de um novo endereço IP sem que ele precisasse fazer nada.

3. Atualizou o firmware no roteador Quando o roteador estava voltando, era necessária uma atualização de firmware.

Quando as três etapas foram concluídas, tive acesso total aos sites com os quais eu estava passando. O técnico indicou que isso era algo que eles vêem muito raramente e ele achava que minha melhor aposta para problemas futuros seria começar com o roteador.

Na verdade, suspeito que substituir o modem não tenha nada a ver com a resolução, mas estou mantendo-o nessa lista, já que foi algo que mudou

Eu finalmente resolvi isso. Eu uso algum código automatizado para visitar o sistema SEC EDGAR e extrair documentos de sua coleção. Meu uso é legítimo / permitido e incentivado pela SEC. No entanto, o Akamai monitora o tráfego que passa pela web e, quando estou raspando EDGAR, eles sinalizam meu endereço IP como um mau ator . Em seguida, eles mantêm uma lista que alugam para várias empresas que são usadas para limitar o tráfego aos sites dessas empresas. Meu endereço IP entra na lista quando eu estou raspando e essas empresas pagam Akamai para bloquear o meu endereço IP de acessar seu site - Entre os clientes da Akamai que eu tive problemas com AA.com; USPS.COM, MACYS.com e HarleyDavidson.com.

Parece demorar cerca de uma semana sem scraping para obter o meu endereço IP da lista.

Devo observar que confirmei isso com um engenheiro da Akamai e um engenheiro de rede da SEC. A SEC não entende por que a Akamai usa tráfego legítimo para EDGAR para identificar raspadores, mas eles fazem isso.