<Location>
acaba sendo o caminho. É como <Directory>
, mas você especifica um caminho de url não um caminho do sistema de arquivos, portanto, / cgi-bin / particularScript é o que deve ser usado.
Na minha experiência, o norobots.txt é ignorado se o Google encontrar sua página por meio de marcadores na conta do Google de alguém. Ele decide rastreá-lo independentemente. Eu sei que foi assim porque não há links públicos para a página em questão; era uma URL fornecida de forma privada e o Google não a visitou até que alguém a marcou.