Como bloquear o falso google spider e o acesso falso ao navegador?

Question

Recentemente descobri que alguns someguys estão tentando espelhar meu site. Eles estão fazendo isso de duas maneiras:

1. Finja ser aranhas do google. Os registros de acesso são os seguintes:

   89.85.93.235 - - [05/May/2015:20:23:16 +0800] "GET /robots.txt HTTP/1.0" 444 0 "http://www.example.com" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "66.249.79.138"
   79.85.93.235 - - [05/May/2015:20:23:34 +0800] "GET /robots.txt HTTP/1.0" 444 0 "http://www.example.com" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "66.249.79.154"
   

   O endereço http_x_forwarded_for é o endereço do Google.

2. Finja ser um navegador da web normal.

Estou tentando usar a configuração abaixo para bloquear o acesso deles:

Para o problema 1, verifico o endereço X_forward_for. Se user agent é spider, e X_forward_for não é nulo. Então bloqueie. Estou usando

map $http_x_forwarded_for $xf {
    default 1;
    "" 0;
}

map $http_user_agent $fakebots {
    default 0;
    "~*bot" $xf;
    "~*bing" $xf;
    "~*search" $xf;
}

if ($fakebots) {
    return 444;
}

Com essa configuração, parece que o falso spider do Google não pode acessar a raiz do meu site. Mas eles ainda podem acessar meus arquivos php, e eles não podem acessar e arquivos js ou css. Muito estranho. Eu não sei o que está errado.

Para o agente do usuário do problema 2 que declara que eles não são spiders. Usarei o ngx_lua para gerar um valor aleatório e inclua o valor no cookie e, em seguida, verifique se eles podem enviar esse valor de volta ou não. Se eles não podem enviá-lo de volta, isso significa que eles são robôs e bloqueiam o acesso.

map $http_user_agent $ifbot {
    default 0;
    "~*Yahoo" 1;
    "~*archive" 1;
    "~*search" 1;
    "~*Googlebot" 1;
    "~Mediapartners-Google" 1;
    "~*bingbot" 1;
    "~*msn" 1;
    "~*rogerbot" 3;
    "~*ChinasoSpider" 3;
}

if ($ifbot = "0") {
    set $humanfilter 1;
}
    #below section is to exclude flash upload
if ( $request_uri !~ "~mod\=swfupload\&action\=swfupload" ) {
    set $humanfilter "${humanfilter}1";
}


if ($humanfilter = "11") {
    rewrite_by_lua '
    local random = ngx.var.cookie_random
    if(random == nil) then
        random = math.random(999999)
    end
    local token = ngx.md5("hello" .. ngx.var.remote_addr .. random)
    if (ngx.var.cookie_token ~= token) then
      ngx.header["Set-Cookie"] = {"token=" .. token, "random=" .. random}
      return ngx.redirect(ngx.var.scheme .. "://" .. ngx.var.host .. ngx.var.request_uri)
    end
    ';
} 

Mas parece que com a configuração acima, o google bot também é bloqueado enquanto não deveria.

E as últimas perguntas é que eu tentei usar "negar" para negar o acesso de um IP. Mas parece que ainda pode acessar meu servidor.

Na minha parte http:

deny  69.85.92.0/23;
deny  69.85.93.235;

Mas quando eu verifico o log, ainda consigo encontrar

69.85.93.235 - - [05/May/2015:19:44:22 +0800] "GET /thread-1251687-1-1.html HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.107"
69.85.93.235 - - [05/May/2015:19:50:06 +0800] "GET /thread-1072432-1-1.html HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "220.181.108.151"
69.85.93.235 - - [05/May/2015:20:15:44 +0800] "GET /archiver/tid-1158637.html?page=1 HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "180.76.5.196"
69.85.93.235 - - [05/May/2015:20:45:09 +0800] "GET /forum.php?mod=viewthread&tid=1131476 HTTP/1.0" 302 154 "http://www.example.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.53"

Qualquer um pode ajudar?