Como eu uso o robots.txt para proibir o rastreamento apenas dos meus subdomínios?

Question

Se eu quiser que meu site principal esteja nos mecanismos de pesquisa, mas nenhum dos subdomínios esteja, devo simplesmente colocar o arquivo "disallow all" robots.txt nos diretórios dos subdomínios? Se eu fizer, meu domínio principal ainda poderá ser rastreado?

    

Answer 1

O arquivo robots.txt precisa estar no diretório de nível superior do seu servidor da web. Se o seu domínio principal e cada subdomínio estiverem em vhosts diferentes, você poderá colocá-lo no diretório de nível superior de cada subdomínio e incluir algo como

User-agent: *
Disallow: /

O local em que o robots.txt está localizado depende de como você acessa um site específico. Dado um URL como

 http://example.com/somewhere/index.html

um rastreador descartará tudo à direita do nome de domínio e adicionará o robots.txt

http://example.com/robots.txt  

Então você precisa colocar seu arquivo robots.txt no diretório apontado pela diretiva DocumentRoot para example.com e não permitir o acesso a / algum lugar que você precisa

User-agent: *
Disallow: /somewhere

Se você tiver subdomínios e acessá-los como

http://subdomain.example.com

e você quer impedir o acesso a todo o subdomínio, então você precisa colocar seu robots.txt no diretório apontado pela diretiva DocumentRoot para o subdomínio, etc.

    

Answer 2

Você tem que colocá-lo em seu diretório raiz, caso contrário ele não será encontrado.

    

Answer 3

1. Você precisa colocar o robots.txt em seu diretório raiz

2. As regras de Não permitir são não específicas de domínio / subdomínio e serão aplicadas a todos os URLs

Por exemplo: Vamos supor que você esteja usando um sub.mydomain.com e mydomain.com (ambos estão vinculados à mesma pasta ftp). Para essa configuração, se você definir uma regra de Não permitir: / admin /, todos os URLs sub.meudominio.com.br/admin/ e meudominio.com/admin/ serão Não permitidos.

Mas, se sub.mydomain.com na verdade não estiver vinculado a nenhum outro site (e também a outra pasta ftp), será necessário criar outro robots.txt e colocá-lo na raiz dessa pasta.