O que significa o useragent “Mozilla / 4.0 (compatible;)”?

Question

Nos meus logs do servidor (Apache 2.2.3), recebo solicitações do useragent "Mozilla / 4.0 (compatible;)". Algumas pesquisas rápidas parecem sugerir que essas solicitações são de proxies que estão tentando pré-buscar páginas, mas a informação não é muito conclusiva.

Alguém tem experiência com isso? Você sabe de onde esses pedidos realmente vêm? É seguro ignorá-los se forem 404s?

Logs de amostra:

1.1.1.1 - - [10/Jun/2010:01:55:01 -0400] "GET /popup/authentication HTTP/1.1" 404 1831 "-" "Mozilla/4.0 (compatible;)"

2.2.2.2 - - [06/Jul/2010:08:50:27 -0400] "GET /images/social/twitter.1.png HTTP/1.1" 304 - "-" "Mozilla/4.0 (compatible;)"

3.3.3.3 - - [08/Jul/2010:14:58:41 -0400] "GET /calendar/list/json/6/27/2010 HTTP/1.1" 404 46 "-" "Mozilla/4.0 (compatible;)"

4.4.4.4 - - [11/Jun/2010:13:41:27 -0400] "GET / HTTP/1.1" 200 3875 "-" "Mozilla/4.0 (compatible;)"

    

Answer 1

De acordo com vários recursos (como esta entrada ), estas são solicitações usadas por ferramentas de proxy que empregam estratégias de pré-busca (elas vão e baixam todas as páginas que estão vinculadas a partir da página que um usuário está visitando para armazená-las em cache para recuperação rápida). Blue Coat, Verizon, LookSmart e outros foram encontrados em um momento ou outro para usar o UserAgent em suas ferramentas.

Além disso, de acordo com a Microsoft, algumas versões do Internet Explorer, por razões históricas, usaram variações do UserAgent Mozilla / 4.0 (compatível). Consulte aqui para obter mais detalhes.