Tente a alocação de portas:
Varnish:80 => NginX:8080
NginX:443
Dessa forma, você passa tudo pelo verniz como camada acima do cache, então o número de pedidos para o NginX é reduzido.
Seu aplicativo deve controlar por meio de cabeçalhos como o conteúdo deve ser armazenado em cache e, por padrão, deve funcionar OK - os arquivos dinâmicos são passados para o NginX enquanto a estática é exibida do cache pelo tempo que o cabeçalho da data de expiração diz.