Existe uma maneira de dizer aos robôs para não olharem para um diretório?

Question

Eu tenho um diretório cheio de imagens, que eu não quero visto por robôs, existe uma maneira de tornar este diretório privado?

Obrigado!

    

Answer 1

Como usar o Robots.txt na pesquisa Otimização de mecanismos (SEO)

Type-in " Disallow: /folder name "
for any folder containing files you don’t want search engines to crawl.

Or, type-in " Disallow: /filename.filetype "
for any page or file you don’t want search engines to index.

Nota do seguinte exemplo:

* Disallow: /private/
* Disallow: /private/image01.jpg

    

Answer 2

Crie um arquivo robots.txt no diretório raiz do seu site. Dentro desse arquivo coloque

User-agent: *
Disallow: /images

    

Answer 3

Ele é chamado de arquivo robots.txt e a maioria dos robôs honrará suas solicitações no robots.txt.

Você vai querer algo como o seguinte:

User-Agent: *
Disallow: /path/to/images/

    

Answer 4

Você quer robots.txt

    

Answer 5

É assim:

User-agent: *
Disallow: /MyImageDirectory

    

Answer 6

No diretório raiz, você pode colocar um arquivo robots.txt que proíbe que robôs indexem diretórios específicos.

    

Answer 7

O robots.txt é apenas obedecido por robôs bem comportados. nem todos são bem comportados como os dos principais mecanismos de busca - alguns são escritos por incompetentes, alguns são escritos por spammers que buscam endereços de e-mail e assim por diante.

de qualquer forma, você também quer desligar Indexes para esse diretório ... ou com um arquivo .htaccess ou em seu apache conf assim:

<Directory /path/to/images/dir>
  Options -Indexes
</Directory >

ou colocando um arquivo index.html em branco lá.

isso impedirá que eles vejam uma listagem de diretórios dos arquivos de imagem. Não impede que eles sigam links diretos para as imagens de outras páginas em seu site.

na verdade, há muito pouco que você pode fazer para evitar que robôs acessem arquivos públicos em seu servidor da Web que não incomodem seus usuários ou aumentem a carga em seu servidor, exibindo imagens apenas por meio de um script que serve apenas para usuários logados (por exemplo, verificando um cookie).