Em termos de bloqueio de mecanismos de pesquisa por meio da string user-agent, isso é bastante trivial. Em termos de bloqueio de usuários por sua string user-agent, esqueça, é um desperdício de tempo .
Se você estiver configurando um login de autenticação básica, esteja ciente de que eles são suscetíveis a ataques de força bruta e as senhas serão enviadas em texto simples. Eu recomendaria o uso de SSL se você for configurar isso para alguma segurança adicional. Você pode estar interessado em ModSecurity também se estiver preocupado com a força bruta.
Eu recomendaria postar seu arquivo .htaccess também antes de colocá-lo no lugar para que ele possa ser avaliado por qualquer problema.