Não, a parte port
não é o problema. port
é usado para definir a qual porta uma proibição se aplica depois que a regra regex é correspondida.
Eu acho que o seu regex não está funcionando como deveria ser. Você pode usar o comando fail2ban-regex para ver se está realmente funcionando e corrigi-lo, se necessário. Aqui está um exemplo de comando:
fail2ban-regex '/var/log/apache*/*access.log' /etc/fail2ban/filter.d/apache-noscript.conf
Você também pode usar o seguinte comando para ver o status da prisão:
fail2ban-client status