Finalmente consegui fazer isso com o recente:
iptables -A INPUT -p tcp -m tcp --dport 22 -m state --state NEW \
-m recent --rcheck --seconds 60 --hitcount 5 --name ssh --rsource \
-j REJECT --reject-with icmp-port-unreachable
iptables -A INPUT -p tcp -m tcp --dport 22 -m state --state NEW \
-m recent --set --name ssh --rsource
- update irá reiniciar o cronômetro novamente em cada pacote de recebimento, mas --rcheck irá apenas checá-lo. Após 60 segundos, a estrutura é excluída e um novo cronômetro é iniciado novamente.
É assim que eu entendi (eu não estava procurando fontes - com preguiça)