Você deve usar apenas allow all
location = /public/endpoint {
proxy_pass http://127.0.0.1:9000;
# Allow *all* IPs here, so that they don't hit the server "deny" rule
allow all;
}
Além disso, se você usar diferentes tipos de restrições, talvez seja necessário adicionar satisfy any;
para que funcione.