Perguntas sobre 'web-proxy'

Existe um servidor proxy de encaminhamento que pesquisará e obedecerá a robots.txt arquivos em domínios remotos da Internet e os aplicará em nome dos solicitantes que passarem pelo proxy? por exemplo. Imagine um website em www.example.com...

Estou trabalhando na criação de novos proxies da web no meu trabalho. Estávamos inicialmente planejando comprar proxys da Blue Coat, mas a crise econômica veio e não estamos mais comprando ... A grande característica que esses proxys tinham e...