Existe precedente legal para isso. Field v. Google Inc., 412 F. Supp. 2d 1106, (U.S. Dist. Ct. Nevada 2006). O Google ganhou um julgamento sumário com base em vários fatores, mais notavelmente que o autor não utilizou um arquivo robots.txt nas metatags em seu site, o que impediria que o Google rastreasse e armazenasse páginas em cache que o proprietário do site não queria indexar.
NÃO há nenhuma lei dos EUA que lide especificamente com arquivos robots.txt; No entanto, outro processo judicial estabeleceu alguns precedentes que podem levar a considerar que os arquivos robots.txt contornam medidas eletrônicas intencionais tomadas para proteger o conteúdo. Em ADVOGADOS DE SAÚDE, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, et. Além disso, Healthcare Advocates argumentou que Harding et al essencialmente hackearam as capacidades do Wayback Machine, a fim de obter acesso a arquivos em cache de páginas que tinham versões mais recentes com arquivos robots.txt. Enquanto os defensores da saúde perderam este caso, o Tribunal Distrital observou que o problema não era que Harding et al "escolheram a fechadura", mas ganharam acesso aos arquivos por causa de um problema de carga de servidor com a Wayback Machine que concedeu acesso ao arquivos em cache quando não deveria ter e, portanto, não havia "nenhum bloqueio para escolher".
É apenas uma questão de tempo para IMHO até que alguém tome essa decisão e a coloque de lado: a corte indicou que o arquivo robots.txt é um bloqueio para evitar que o rastreamento seja contornado escolhendo o bloqueio.
Muitos desses processos, infelizmente, não são tão simples como "Eu tentei dizer ao seu rastreador que ele não é permitido e seu rastreador ignorou essas configurações / comandos". Há uma série de outros problemas em todos esses casos que, em última análise, afetam mais o resultado do que o problema principal de o arquivo robots.txt ser ou não considerado um método de proteção eletrônica nos termos da lei DCMA dos EUA.
Tendo dito isso, esta é uma lei dos EUA e alguém da China pode fazer o que quiser - não por causa da questão legal, mas porque a China não reforçará a proteção dos direitos autorais e da marca registrada dos EUA, então boa sorte indo atrás deles .Não é uma resposta curta, mas realmente não há uma resposta simples e curta para sua pergunta!