Você pode limitar a taxa facilmente com o iptables, e isso pode ser feito sem dar à máquina um firewall completo.
O código é
# rate-limit connections to sshd
iptables -A INPUT -p tcp --syn --dport 22 -m recent --name sshattack --set
iptables -A INPUT -p tcp --dport 22 --syn -m recent --name sshattack --rcheck --seconds 60 --hitcount 3 -j LOG --log-prefix 'SSH REJECT: '
iptables -A INPUT -p tcp --dport 22 --syn -m recent --name sshattack --rcheck --seconds 60 --hitcount 3 -j REJECT --reject-with tcp-reset
que permitirá apenas duas conexões de qualquer endereço IP, em uma janela de 60 segundos. Você precisará ter o cuidado de colocar essas regras no lugar certo em sua cadeia INPUT.
Veja meu artigo para mais informações, se estiver interessado.