Não sei se você consertou, vai deixar isso aqui caso alguém precise.
No código-fonte do Nginx, é definido um máximo de 42 caracteres sendo usados pelos cabeçalhos Vary. No meu caso, existem 51 caracteres, assim meus cabeçalhos Vary estão sendo tratados como Vary: * (no-cache). Definir o máximo para 84 corrigiu para mim.
Este artigo explica isso com mais profundidade.
Créditos para o cara postando aquele artigo curto.