Sugestão de leitura: link
Com o vanilla Varnish 3.0, você pode definir beresp.do_stream como true em vcl_fetch. O arquivo será transmitido enquanto é buscado no back-end. A advertência: o objeto é definido como ocupado durante a transmissão, para que outros clientes sejam colocados em espera.
Há também uma versão 3.0.2 do Varnish com suporte a streaming "completo" disponível: link quais pessoas estão usando na produção, então talvez você queira tentar.
Ou talvez você possa "pré-atualizar" seus arquivos, colocando-os no cache de memória do Varnish antes que os usuários iniciem o download?