Por que meu robots.txt não está funcionando?

Question

Eu tenho este robots.txt:

User-Agent: *
Disallow: /files/

User-Agent: ia_archiver
Allow: /

User-agent: Googlebot 
Disallow: 

User-agent: googlebot-image 
Disallow: 

User-agent: googlebot-mobile 
Disallow: 

Estou descobrindo que os arquivos PDF no diretório / files / estão sendo indexados pelo Google.

Devo mover a primeira entrada para o final?

Ao trabalhar com as ferramentas para webmasters do Google. Mudei o / files / disallow para a parte inferior e executei um teste em um arquivo PDF no diretório de arquivos e ele retornou o Success.

Como posso corrigir esse problema? Nós não queremos que nada neste diretório seja indexado.

EDITADO

Mesmo se eu remover tudo, exceto a primeira cláusula,

User-Agent: *
Disallow: /files/

O Google ainda consegue ver PDFs no diretório / files /, o que estou fazendo de errado aqui?

Nas ferramentas para webmasters do Bing, ele aparece como bloqueado, mas o Google ainda mostra Sucesso.

    

Answer 1

Editar: releia o padrão. um robô usará o primeiro token de nome correspondente ou retornará para * . Para cada bot que você deseja negar acesso a /files/ , você precisará adicionar um disallow:

correspondente

User-agent: *
Disallow: /files/

User-agent: Googlebot 
Disallow: /files/

O

link é um excelente recurso, se você ainda não o viu.