O Fail2Ban é mais eficaz no banimento de IPs por 'tentativas malsucedidas'. Como tal, não é realmente a ferramenta mais adequada para assistir a ataques DoS reais. Eu defino o Fail2Ban para assistir ao arquivo de log do erro HTTPd do Apache. Os IPs que têm 20 solicitações "inválidas" dentro de 5 minutos são banidos por 5 minutos. Isso reduz os script kiddies e similares, mas realmente não protege de maneira alguma contra um ataque direcionado.
Mod_evasive e mod_security cam ajudam a reduzir potenciais vetores DoS, mas sem saber como o seu site funciona, eu não poderia fornecer soluções bullet.