A Perishable Press publica uma lista negra de agentes de usuários gerenciados com freqüência, que bloqueia bots inválidos que são diretivas de acesso.
O artigo pode ser encontrado aqui: link
Você recomendaria usar essa lista negra? O objetivo principal é reduzir a solicitação em meus servidores, porque vejo muito tráfego sendo consumido pelos bots que visitam meu site.
Felicidades
Geralmente sim, se ele atende aos seus requisitos / necessidades, a menos que haja conflitos específicos que você possa encontrar com suas definições e / ou abordagens. A rota prudente é monitorar de perto durante sua implementação inicial para garantir que ela atenda às suas necessidades sem introduzir efeitos colaterais imprevistos / inesperados.
É melhor você usar robots.txt para controlar os bots bem comportados e solicitar limitação de taxa para bots malvados. Você não pode usar nada controlado pelo cliente para bots mal comportados, porque eles podem se modificar para evitar seus filtros.