Como cancelar um subdiretório no robots.txt

Question

OK, atualmente estamos restringindo o diretório / Assets / de ser indexado em nosso robots.txt. Existe um diretório no diretório / Assets / que eu quero indexar (/ Assets / product_labels /). Existe alguma maneira de permitir este diretório, além de movê-lo para outro diretório?

    

Answer 1

Você pode colocar Disallow explícito para todos os arquivos e pastas que são "irmãos" na pasta que deseja manter aberta.

Disallow: /Assets/Dir1
Disallow: /Assets/Dir2
Disallow: /Assets/DirN
Disallow: /Assets/File1
Disallow: /Assets/File1
Disallow: /Assets/FileN

Apenas deixe o /Assets/product_labels out - para permitir isso.

A geração dessa lista pode ser automatizada, mas lembre-se de que isso precisa ser feito para cada novo diretório ou arquivo mantido sob Assets que você não deseja permitir.

Claro, se você é bom para mover o product_labels de Assets , será mais limpo.

    

Answer 2

"Isso é um pouco estranho, já que não há campo" Permitir ". A maneira mais fácil é colocar todos os arquivos em um diretório separado, digamos" coisas ", e deixar o arquivo no nível acima este diretório: "- > Citado em: www.robotstxt.org