Você pode usar iptables para limitar a 3 tentativas por minuto:
iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 4 -j DROP
Ou use algo como fail2ban . Ele bane por endereço IP por 15 minutos após 5 tentativas de login sem sucesso.