Use o módulo nipx realip , e você não precisa se preocupar com o X- Cabeçalho Forwarded-For; você pode simplesmente agir em endereços IP como se o balanceador de carga não estivesse lá.
Uma configuração de amostra:
http {
real_ip_header X-Forwarded-For;
set_real_ip_from 172.19.0.0/16; # Netblock for my ELB's