Você poderia tentar --connlimit com a opção --connlimit-mask para definir uma máscara de 0.
iptables -A INPUT -p tcp --dport XXY -m connlimit --connlimit-above 5 --connlimit-mask 0 -j REJECT
Onde XXY é a porta para a qual você deseja limitar as conexões.
já respondidas aqui: link