Eu hospedo alguns repositórios git em git.nomeata.de usando gitweb (e gitolite). Ocasionalmente, uma aranha de mecanismo de busca aparece e começa a martelar a interface. Embora eu geralmente queira que meus repositórios git apareçam nos mecanismos de busca, não quero bloqueá-los completamente. Mas eles não devem invocar operações caras, como tirar fotos do arquivo, pesquisar ou gerar diferenças.
Qual é o arquivo "melhor" robots.txt para tal instalação?
Eu acho que isso faz um bom wiki da comunidade. Por favor, estenda este robots.txt se você acha que pode ser melhorado:
User-agent: *
Disallow: /*a=search*
Disallow: /*/search/*
Disallow: /*a=blobdiff*
Disallow: /*/blobdiff/*
Disallow: /*a=commitdiff*
Disallow: /*/commitdiff/*
Disallow: /*a=snapshot*
Disallow: /*/snapshot/*
Disallow: /*a=blame*
Disallow: /*/blame/*
Tags git robots.txt