você não encaminha o IP nos cabeçalhos de solicitação que você envia de volta para seus nós. Uma boa abordagem seria definir um mínimo no bloco localização :
proxy_set_header X-Forwarded-For $remote_addr;
proxy_set_header X-Forwarded-Host $remote_addr;