Pessoalmente, não tenho nenhuma experiência com o fail2ban ou o nginx-naxsi, mas sei que o ModSecurity está disponível para o nginx desde 2012 e é facilmente capaz de lidar com suas solicitações. É de código aberto e pode ser personalizado para as suas necessidades.
ModSecurity inclui base_rulesets e optional_rulesets com o & preparado & regras XSS e DOS prontas para usar para proteger seu servidor.
Isso definitivamente causa um ligeiro aumento em seu desempenho (dependendo de quantas regras você usa e quanto de tráfego você manipula), mas é uma ferramenta muito poderosa .
Aqui está um tutorial sobre como configurar o nginx. Talvez você goste disso:)