iptables é a ferramenta userland para manipular o netfilter. netfilter é o código no kernel que manipula a filtragem de pacotes. Contextualmente, alterar a ferramenta userland só mudaria sua experiência e não o modo como a filtragem funciona.
Eu nunca encontrei uma limitação no Linux com a quantidade de regras especificadas e tenho usado o Linux para firewall, já que a ferramenta userland era ipfwadm . É notável que o Netfilter não foi introduzido no Linux até que o kernel 2.4.xe ipfwadm fosse a interface para o ipfw não netfilter. O OpenBSD é ótimo para um firewall se você puder continuar usando-o em seu ambiente.
A limitação provavelmente será uma limitação física com base nos recursos do sistema, com foco na quantidade de RAM disponível. Se você encontrar problemas, talvez seja necessário ajustar as configurações máximas de conexão IP do Linux no kernel. É improvável que você encontre uma dessas situações no hardware moderno com uma distribuição Linux moderna.
Se você gostaria de discutir os detalhes mais sutis do netfilter, talvez seja melhor promover este diálogo nas listas de discussão do netfilter, já que eles serão os especialistas no assunto.
Se isso não responder à sua pergunta, fique à vontade para esclarecer e ficaremos felizes em revisá-la.
O usuário do Netfilter atinge limitações de memória limitando os limites do netfilter