Como impedir que o majestic 12 indexe um site

Question

Nós experimentamos muito tráfego e carga de servidor em um servidor da Web.

Tudo o que posso descobrir é majestic12 acessando páginas o tempo todo.

Gostaria de saber como posso impedir que o majestic12 indexe o site

Eles respeitam qualquer entrada do robots.txt e como eu escrevo essa conta?

    

Answer 1

De acordo com a página do Majestic 12 sobre o robots.txt , eles respeitam totalmente a exclusão de robôs ( 3ª resposta do topo). O arquivo robots.txt é um arquivo de texto simples na raiz do seu site, ou seja, você o coloca em:

http://www.yourdomain.com/robots.txt

e tem essas linhas no arquivo:

User-agent: MJ12bot
Disallow: /

Então, se você quiser bloquear esse bot, não vejo nenhum problema - a menos que você esteja sendo atacado por um dos bots falsos que eles mencionam.

    

Answer 2

Para a pergunta de acompanhamento do op:

I wonder if they have mentioned all fake bots. Why would someone claim to be majestic12?

Isso seria uma operação de sinalização falsa. Vírus se disfarça como um bot / processo legítimo para rastrear ip's. A explicação está em o majestic12 faq descendo.