Você pode usar iptables
para limitar a 3 tentativas por minuto:
iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 4 -j DROP
Ou use algo como fail2ban
. Ele bane por endereço IP por 15 minutos após 5 tentativas de login sem sucesso.