Como posso saber quantas e quais páginas, arquivos do meu site são rastreáveis pelos mecanismos de pesquisa?

1

Como posso saber quantas e quais páginas do meu site são rastreáveis pelos mecanismos de pesquisa?

    
por metal gear solid 04.01.2010 / 06:42

2 respostas

1

Eles são todos rastreáveis se outra página se vincular a eles. Você pode impedir que certos robôs da Web indexem suas páginas com um arquivo robots.txt , que eles devem respeitar, mas mesmo com um em lugar há provavelmente robôs da web que não o respeitarão. Eu conheço os grandes garotos por aí (Google, Yahoo, Bing ...) irá respeitar um arquivo robots.txt, mas provavelmente existem outros menores por aí que não podem.

    
por 04.01.2010 / 06:48
1

Encontrei minha resposta aqui

link

    
por 04.01.2010 / 07:00