Você deseja que as regras a seguir em seu iptables respondam aos dois requisitos da sua pergunta:
iptables -t filter -I INPUT -p tcp --dport 80 -j ACCEPT
iptables -t filter -I INPUT -p tcp --dport 80 -m state \
--state RELATED,ESTABLISHED -j ACCEPT
# Adjust "--connlimit-above NN" to limit the maximum connections per IP
# that you need.
iptables -t filter -I INPUT -p tcp --syn --dport 80 -m connlimit \
--connlimit-above 10 --connlimit-mask 32 -j DROP
# Adjust "--connlimit-above NNN" to the maximum total connections you
# want your web server to support
iptables -t filter -I INPUT -p tcp --syn --dport 80 -m connlimit \
--connlimit-above 150 -j DROP
Como estamos usando o -I (de acordo com a solicitação do OP), precisamos fazê-lo na ordem inversa, para que "leiamos" de baixo para cima.
Eu também sugiro considerar a alteração do NN --connlimit-mask de 32 para 24. Isso limitará uma rede Classe-C completa (máximo de 256 endereços IP no mesmo intervalo) a 10 conexões. Você também pode usar qualquer outro número sem classes, como 22 ou 30, dependendo de como você acha que seu serviço pode ser usado.
Também dependendo de como você quer que o cliente se comporte, você pode querer usar "-j REJECT --reject-with tcp-reset" em vez de "-j DROP" nas duas regras acima, ou mesmo apenas na regra máxima de 150 conexões.
Se você REJEITAR a conexão, o navegador ou o software que usa a porta 80 exibirá um status "não disponível" imediatamente, mas a opção DROP fará com que o cliente aguarde e tente novamente algumas vezes antes de relatar o site como indisponível. Eu tendem a me inclinar para o DROP, pois ele se comporta mais como uma conexão ruim do que um servidor off-line.
Além disso, se o limite de conexão cair abaixo de 150 (ou 10) enquanto ele ainda estiver tentando, ele finalmente chegará ao seu servidor.
No entanto, a opção REJECT causará uma fração menor de tráfego ao seu site, pois o DROP fará com que ele envie pacotes adicionais enquanto tenta novamente. Provavelmente não é tão relevante.
Se, por outro lado, o tráfego da porta 80 fizer parte de um cluster, então o REJECT informará ao controlador de cluster que ele está inoperante e para parar de enviar tráfego para ele durante o tempo limite de nova tentativa.
A regra RELATED, ESTABLISHED existe sob a suposição de que sua regra padrão é bloquear todo o tráfego (iptables -t filter -P INPUT DROP). Isso só aceita mais pacotes pertencentes a conexões aceitas.
Também --syn diz para prestar atenção (ou contar) os pacotes que configuram uma conexão TCP.