Como criar um robots.txt global que seja anexado ao robots.txt de cada domínio no Apache?

Question

Eu sei que o cria ONE arquivo robots.txt para todos os domínios em um servidor Apache * , mas eu quero anexar ao robots.txt de cada domínio (se pré-existente). Quero algumas regras gerais para todos os domínios, mas preciso permitir que domínios diferentes tenham suas regras exclusivas.

Existe uma maneira de conseguir isso?

(* No meu caso Apache 2.2.x)

    

Answer 1

Do ponto de vista do Apache, robots.txt é apenas um recurso a ser exibido. Você pode alterar o conteúdo retornado quando robots.txt for solicitado passando-o por um filtro de saída.

Se você quiser acrescentar algum texto, defina um filtro externo . Assumindo que o Apache está rodando no sistema operacional Unix-like, a configuração do filtro pode ser

ExtFilterDefine appendRobotstxt cmd="/bin/cat - /var/www/html/robots-tail.txt"
<Location /robots.txt>
    SetOutputFilter appendRobotstxt
</Location>

Isso concatenaria robots-tail.txt ao final da resposta.

    

Answer 2

Note que você provavelmente terá que incorporar as alterações. Se um domínio já tiver

User-agent: *
Disallow: /search

e você deseja adicionar para todos os domínios

User-agent: *
Disallow: /admin/

você teria que fazer isso

User-agent: *
Disallow: /search
Disallow: /admin/

porque os analisadores do robots.txt param assim que encontram um bloco que corresponda a eles.