Como limitar os IPs de destino para o proxy de cache nginx

Question

Estou tentando configurar o nginx como um proxy de cache que pode armazenar em cache / servir páginas apenas de um intervalo de IPs (exemplo: 31.29.100.0/24 ).

Para configurar o proxy eu uso este conf:

server {
    listen 8080;
    location / {
        resolver 127.0.0.1;
        proxy_pass $scheme://$http_host$uri$is_args$args;
        proxy_set_header X-Remote-Addr $proxy_add_x_forwarded_for;
    }
}

Agora, isso servirá como um proxy aberto, qualquer cliente de destino precisa ... Existe uma maneira de limitar os IPs de destino?