Você pode usar o iptables para limitar o número de tentativas de conexão por minuto que um endereço IP pode tentar. Como esses são ataques automáticos na maioria das vezes, o script é movido para encontrar outro destino, uma vez bloqueado.
Este exemplo é para a porta tcp 22 (ssh) e permitirá 3 tentativas de conexão por minuto antes de descartar pacotes daquele endereço IP.
iptables -A INPUT -p tcp --dport 22 --syn -m limit --limit 1/m --limit-burst 3 -j ACCEPT
iptables -A INPUT -p tcp --dport 22 --syn -j DROP