Perguntas sobre 'sitemap'

Tags
5
respostas

Extrair links de um sitemap (xml)

Digamos que eu tenha um arquivo sitemap.xml com esses dados: <url> <loc>http://domain.com/pag1</loc> <lastmod>2012-08-25</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority&g...
27.08.2012 / 13:11
2
respostas

Como cancelar um subdiretório no robots.txt

OK, atualmente estamos restringindo o diretório / Assets / de ser indexado em nosso robots.txt. Existe um diretório no diretório / Assets / que eu quero indexar (/ Assets / product_labels /). Existe alguma maneira de permitir este diretório, alé...
24.07.2009 / 22:13
2
respostas

Como posso criar um mapa do site para um site protegido por senha?

O Microsoft Visio tem um recurso no qual criará um mapa do site para um site existente. No entanto, meu site tem um login e os usuários devem ser autenticados para visualizar o conteúdo. Existe alguma maneira de inserir credenciais no Visio o...
15.02.2011 / 15:11
5
respostas

Rastreador / spider do site para obter o mapa do site [fechado]

Eu preciso recuperar um mapa do site inteiro, em um formato como: link link link link link Eu preciso que ele seja baseado em links (sem arquivo ou dir brute-force), como: parse homepage -> retrieve all links -&g...
03.09.2012 / 16:23
1
resposta

Baixe / atualize as páginas da Web listadas no sitemap XML [closed]

Estou pesquisando uma ferramenta FLOSS que faz o download de todas as páginas (e recursos incorporados, por exemplo, imagens) vinculadas em um sitemap XML (construído de acordo com o link ). A ferramenta deve "rastrear" o sitemap regularment...
13.10.2012 / 17:04
0
respostas

Console de pesquisa do Google, verificação, sitemaps, HTTPS e propriedades HTTP

Estou muito familiarizado com as ferramentas da web do Google, como o Google Analytics ou o Search Console, (por isso, desculpas se isso não fizer sentido) e esta é a primeira vez que lembro de verificar um site ou enviar um mapa do site. Eventu...
01.08.2018 / 00:51
4
respostas

Como posso proteger meu arquivo de índice de sitemap e arquivos sitemap.xml de leechers?

Eu tenho um site de "conteúdo" que alguns leechers e 419 scammers adoram rastrear agressivamente, o que também gera custos e problemas de desempenho. :( eu não tenho escolha: eu preciso impedi-los para acessar os arquivos sitemap e índice.: (...
08.02.2010 / 18:38
0
respostas

Como usar o sitemap.xml para criar um espelho estático de um CMS

Existe uma ferramenta para criar um espelho estático de um sistema de gerenciamento de conteúdo (CMS) que fornece um arquivo sitemap.xml? O ideal seria apontar uma ferramenta como wget ou curl para um arquivo sitemap.xml e sincronizá-los auto...
21.08.2010 / 22:49
3
respostas

Posso proteger meu sitemap.xml para que apenas os mecanismos de pesquisa possam baixá-lo?

Estou planejando adicionar um monte de listas agregadas de páginas em meus sitemaps que eu não quero que seja muito fácil para pessoas de fora fazerem screnscrape. Posso proteger meu sitemap.xml para que apenas os mecanismos de pesquisa possam b...
14.12.2009 / 07:24
3
respostas

Não é possível gerar um sitemap pelo gerador do Google

Eu gostaria de gerar um sitemap da minha conta do Uni.s de tal forma que eu tenha um cron que execute continuamente o sitemap_gen .py -arquivo . O sitemap é para o meu site no Google Sites e particularmente para os usuários do site, não apenas...
11.06.2009 / 21:54