O Varnish ainda não suporta compressão gzip, então pode ser uma idéia trocar o nginx na frente para comprimir o que o verniz envia de volta. Já que o verniz e o nginx não lutam pelos mesmos recursos (o nginx usa CPU para compactação gzip, enquanto o verniz usa memória) eles devem rodar sem problemas na mesma máquina.
O verniz agora suporta a compactação gzip , a menos que você precise de terminação SSL (como sugerido nos comentários), sugiro colocar o verniz diretamente em contato com a Internet.
Para http:
(internet) --> (varnish, gzip, caching, esi) --> (application)
Para https:
(internet) --> (nginx, ssl)--> (varnish, gzip, caching, esi) --> (application)
Se você quiser o apache lá também (para o suporte mod_foobar onipresente), eu colocaria entre o verniz e o aplicativo
Atualização: Atualizado para incluir suporte ao gzip no verniz 3.0. Adicionado ssl / esi como sugerido nos comentários