Existem vários sites que examinam endereços IP de servidores da Web ou apenas procuram portas abertas. Os scanners de porta podem tentar verificar o protocolo na porta. A maioria deles não tem intenção maliciosa. A varredura funciona efetivamente no IPv4, mas é minimamente eficaz no IPv6.
O Baidu, o Yahoo, o Google e uma série de outros sites de busca provavelmente analisarão seu site. Eles estão apenas tentando indexar seu site para o mecanismo de pesquisa. Muitos desses sites fornecem um link com o sinal de adição (+) na string do agente do usuário, onde você pode encontrar mais informações sobre a verificação.
Scanners bem comportados só usarão solicitações GET para links expostos (ou expostos no passado). (Não permita que solicitações GET alterem o estado do site.) Elas também seguirão as restrições fornecidas por um arquivo robots.txt encontrado na raiz do site ( link ). Este arquivo tem um formato bem documentado .