Se você puder garantir que todas as solicitações serão provenientes do ELB (não estou familiarizado com isso), tente:
real_ip_header X-Forwarded-For;
set_real_ip_from 0.0.0.0/0;
Isso deve dizer ao nginx para confiar em um cabeçalho X-Forwarded-For de qualquer pessoa. A desvantagem é que, se alguém acessa diretamente o seu servidor, ele seria capaz de falsificar um cabeçalho X-Forwarded-For e o nginx usaria o endereço IP do cliente errado.