Eu não acho que você esteja realmente procurando uma alternativa para o iptables. O kernel do Linux tem apenas uma estrutura de filtragem de pacotes, e o iptables é. Dito isso, há vários pacotes por aí que fornecem gerenciamento aprimorado do iptables, incluindo recursos como os que você descreveu.
Uma ferramenta nesse sentido é fail2ban , que observa os arquivos de log de determinados acionadores e, em seguida, preenche seu firewall com regras para ventilar o sistema ofensivo e, em seguida, remova essas regras após um determinado período de tempo. Isso geralmente é usado para bloquear sistemas que estão tentando tentativas de força bruta em um servidor ssh, mas também pode ser usado para outras aplicações.
OShorewall é uma ferramenta de alto nível para configurar o firewall do iptables e pode ter alguns desses recursos. Eu não estou particularmente familiarizado com isso sozinho.
Você também pode facilmente criar o seu próprio. A combinação dos iptables comment target e cron facilitaria bastante a automação (coloque um comentário em uma regra indicando quando ela deve expirar e tenha uma tarefa cron executando periodicamente que remova regras que estão além da data de expiração) .