Como você tem verniz na frente do nginx, ele acha que todas as solicitações são provenientes do 127.0.0.1, já que tecnicamente elas são.
Para resolver isso, use o módulo ip nginx real para escolher o endereço IP do cliente fora do X-Forwarded-For
header, que o Varnish adiciona automaticamente aos pedidos (a menos que você tenha dito que não).
Um exemplo de configuração do nginx seria:
set_real_ip_from 127.0.0.1;
real_ip_header X-Forwarded-For;