Você pode encaminhar explicitamente o cabeçalho Set-Cookie com proxy_pass_header Set-Cookie
.
Em geral, ao tentar determinar o impacto de um balanceador de carga, geralmente considero útil "balancear a carga" em um trabalhador, em vez de ignorar completamente o balanceador de carga, conectando-se diretamente ao trabalhador.
Somente quando o balanceador de carga funciona como esperado com um único trabalhador, como @ user1279647 mencionado, você pode determinar se precisa de sessões fixas ou não, testando com vários trabalhadores.