No /etc/fail2ban/jail.conf
[nginx-x00]
enabled = true
port = http,https
filter = nginx-x00
logpath = /var/log/nginx/access.log
bantime = 3600
maxretry = 1
e em /etc/fail2ban/filter.d/nginx-x00.conf
[Definition]
failregex = ^<HOST> .* ".*\x.*" .*$
e pronto. Da próxima vez que alguém mexer com você, ele será banido por uma hora ou qualquer hora que você definir no bantime.
Não se preocupe com solicitações bem formadas com \ x porque elas são codificadas por url e elas serão processadas corretamente.