Parece que o que você realmente quer é combinar uma variável geográfica com proxy_cache_bypass e proxy_no_cache :
geo $skip_cache {
default 1;
123.123.123.123/32 0;
1.2.3.4/32 0;
10.0.0.0/8 0;
}
server {
location ^~ /test/ {
proxy_pass http://frontend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Real-Port $server_port;
proxy_cache cache_base;
proxy_cache_valid 720m;
# When $skip_cache is 1, the cache will be bypassed, and
# the response won't be eligible for caching.
proxy_cache_bypass $skip_cache;
proxy_no_cache $skip_cache;
}
}