Seu arquivo deve ser nomeado: robots.txt
Se você pode ver o conteúdo do arquivo on-line: link , então ele deve estar funcionando.
Caso contrário, você pode testá-lo com esta ferramenta do Google: link
Nós configuramos um site na construção de servidor e site em php e symfony framework, já que minha exigência é impedir que o Google indexe e abaixo do meu robot.txt e evitar usando .htaccess?
User-agent: *
Disallow:
Então, como evitar e testar?
Tags linux robots.txt htaccess