Protegendo contra raspador problemático \ DDoS suave de servidores AWS

Question

no momento, temos um problema em que alguém (s) com muitos endereços IP diferentes, todos pertencentes à AWS, está fazendo scamping [muitas solicitações por segundo para nosso servidor público]. Os agentes do usuário são randomizados e não há nenhum padrão com o qual bloquear conexões. Tentamos bloquear faixas de IP da AWS inteiras (que funcionaram), mas isso acaba quebrando alguns serviços que usamos (uploads de S3, etc.). A única constante é que o referenciador é sempre definido como 'google.com', o que obviamente não queremos para bloquear, porque não haveria maneira de acessar o nosso site a partir de uma pesquisa no google.

Alguma idéia?

    

Answer 1

Meu primeiro pensamento seria analisar os seus registros para "google.com"  referenciadores, em seguida, faça uma pesquisa whois nos IPs para verificar se há IPs provenientes do espaço IP da AWS e, em seguida, rejeite-os na porta de entrada TCP 80/443 no firewall.

Para ter uma ideia:

whois <ip> | grep Amazon
if [ $? -eq 0 ]; then
  <command to add IP to firewall reject/drop policy>
fi

Isso é o que eu faria se decidisse que queria apenas bloqueá-los. Se isso estiver causando problemas de desempenho, talvez seja prudente corrigir os problemas de desempenho, em vez de apenas bloquear a causa deles. Você pode querer usar o nginx como um proxy reverso de armazenamento em cache ou algo assim, se aplicável ao tipo de site que você está executando.