Você pode tentar --connlimit
com a opção --connlimit-mask
para definir uma máscara de 0.
iptables -A INPUT -p tcp --dport XXY -m connlimit --connlimit-above 5 --connlimit-mask 0 -j REJECT
Onde XXY
é a porta para a qual você deseja limitar as conexões.