Parece que o módulo ipset pode ser a maneira mais direta de realizar o que estou tentando fazer. No entanto, é necessário criar um ipset primeiro.
Isso é o que eu criei e parece funcionar:
iptables -A ENTRADA -p tcp --dport 80 -m state --state NOVO -m recente --set
iptables -A INPUT -p tcp --dporta 80 -m state --state NEW -m recent --update --seconds 60 --hitcount 3 -j SET --add -set bloqueado src
iptables -A ENTRADA -p tcp --dport 80 -m set --maparado-set bloqueado src -j DROP