Você precisa dizer ao fail2ban (via regex) onde, na entrada de log, ele encontrará um <HOST>
para que possa banir esse host. Para um log de acesso normal que estaria no início da linha, então
<HOST> -.*(w00tw00t|main.php|setup.php)
funcionaria, mas pode não fazer exatamente o que você deseja, pois corresponderia aos acionadores relevantes em qualquer lugar na entrada do registro.
Você pode querer tentar algo como
<HOST> -.*(/w00tw00t|/main.php |setup.php )
que deve vincular algumas das strings a locais mais específicos