Eu recomendaria strongmente o uso de um proxy como verniz ou squid em vez de baixar os arquivos e mantê-los você mesmo, para que o proxy cuide de toda a expiração do cache e de outros entretenimentos Torne o armazenamento em cache muito divertido.
Se você estiver tentando armazenar em cache o conteúdo gerado dinamicamente e não tiver as informações de expiração adequadas nos cabeçalhos da solicitação, será necessário fazer com que quem estiver gerando essas páginas inclua os cabeçalhos apropriados (com base na taxa de alteração do dados que compõem a página), ou se isso realmente não for possível, então substituindo os tempos de expiração em seu arquivo VCL Varnish.
O "cache", recuperando tudo para os arquivos e servindo-os localmente, significa que você provavelmente estará solicitando uma pilha inteira de conteúdo que nunca será realmente entregue aos usuários (o que significa que o tráfego de rede de carga, CPU, disco, o que for - no servidor de origem é potencialmente maior do que é agora) e você vai acabar reimplementando uma grande parte do que torna um proxy de cache útil (expiração, armazenamento gestão, etc). Simplesmente não vale a pena. Não há nada como isso lá fora (que eu conheço, de qualquer forma), porque qualquer um inteligente o suficiente para fazer algo assim que não seja completo é inteligente o suficiente para perceber que má idéia é , e como eles estão apenas reimplementando a metade difícil do Squid de qualquer maneira.