Um pouco fora do assunto da sua pergunta, mas os cookies SYN podem ser uma atenuação adequada e simples quando confrontados com inundações SYN moderadas.
# echo 1 > /proc/sys/net/ipv4/tcp_syncookies
Google algumas razões pelas quais isso pode ser uma boa ou má idéia.
Como alternativa, já que você já tem um firewall de kernel configurado, você pode usar o módulo iptables "recente" como limitador contornando o fail2ban inteiramente:
# iptables -A INPUT -p tcp -m state --state NEW -m recent --name ftp_limit --update --seconds 60 --hitcount 20 -j DROP
# iptables -A INPUT -p tcp -m state --state NEW -m recent --set --name ftp_limit -m tcp --dport 21 -j ACCEPT
Essas regras limitam a taxa de solicitações SYN (novas conexões) de um IP a 20 por minuto (linha 1) para endereços IP na lista chamada ftp_limit e DROP quaisquer solicitações adicionais. A linha 2 adicionará o endereço IP de origem à lista ftp_limit sempre que uma nova conexão estiver sendo estabelecida na porta 21 (ftp).
Você corre o risco de bloquear o tráfego legítimo originado de redes por trás do NAT, já que elas parecem ter origem em um único endereço IP. E talvez você queira colocar na lista de permissões algumas redes confiáveis também.