O atraso não é apenas para dificultar ataques de força bruta. É também sobre vazamento de informações. Houve uma famosa exploração SunOS anos atrás, que dependia de saber que uma senha estava errada ao ver a rapidez com que os comandos retornavam.
Os ataques de segurança geralmente não dependem de um único vetor, mas combinam vetores de maneiras interessantes para aproveitar pequenos bugs ou descuidos.
Escondendo tentativas boas vs. ruins de atacantes, você reduz a superfície de ataque geral. É a coisa certa a fazer.
Se você não gostar, existem outros métodos de autenticação que você pode usar.