Assim como eu pergunto, descubro porque não está funcionando:
set_real_ip_from
Diz uma lista de IPs dos quais você confia no IP para definir, então eu precisava colocar meu IP do balanceador de carga lá e comentar a próxima linha e agora tudo funciona.