Quando tento buscar meu site como um googlebot nas ferramentas do Google para webmasters, ele retorna Unreachable robots.txt, depois de investigar, eu entendi que o google bot pode ver meu servidor:
tcpdump | grep google
Ele retorna que o google pode acessar meu servidor com IP aa.bb.cc.xx ou aa.bb.cc.yy. mas não há nada em access_log ou error_log ou outros logs do apache.
cat access_log | grep google or cat error_log | grep aa.bb.cc.xx
Outro bot (bing, ...) pode acessar o apache, mas o google não pode.
Não há problema em robots.txt ou suas permissões porque, como você sabe, robots.txt não é necessário, excluo-o, mas novamente as ferramentas do webmaster retornaram "Unreachable robots.txt", não 404 não encontrado!
Informações sobre o servidor:
Como posso investigar o problema e há algum outro comando que possa me ajudar a encontrar o problema?
Você excluiu o arquivo robots.txt , é claro, é "inacessível" - o erro 404 que o Google está recebendo em resposta à solicitação é porque o arquivo não existe.
Se a ferramenta exigir que um robots.txt exista, provavelmente você precisará de um.