Colocando em cache arquivos enormes com verniz. É viável?

Question

Eu tenho um servidor que fornece acesso a algumas centenas de arquivos. Todos eles são realmente grandes (alguns têm mais de 10GB). Esses arquivos não serão alterados e serão somente de leitura, mas será necessário fornecer acesso a eles por meio de uma WAN.

Eu quero tornar o acesso mais rápido usando um servidor proxy reverso em execução perto dos meus usuários. Por exemplo:

• O usuário X deseja acessar algo no servidor A.
• O usuário X acessa um servidor proxy reverso em sua LAN, o que causa um cache senhorita. O arquivo é baixado para este servidor proxy.
• Na próxima vez que o usuário X quiser o mesmo arquivo, ele não precisará ir buscá-lo no meu servidor principal.

Eu sei que essa situação é trivial, mas não tenho muito tráfego, meu problema está mais relacionado aos tamanhos dos arquivos. Eu li algo sobre o Squid ter problemas no cache de arquivos maiores que 2GB. O verniz enfrenta o mesmo tipo de problemas?

Obrigado por qualquer pensamento sobre isso.

    

Answer 1

É tecnicamente possível, mas para o que você quer alcançar - eu consideraria simplesmente espelhar o servidor backend periodicamente com o rsync.

Uma das razões para isso é como o Varnish fornece objetos de seu cache. Se o objeto não estiver no cache de Varnishs, ele irá buscá-lo no back-end. Quando isso acontece, o usuário terá que esperar - sem que ocorra nenhuma transferência para o cliente.

Quando o arquivo é armazenado no cache de verniz, a transferência para o usuário pode ser iniciada.

Dependendo de como os usuários acessam os servidores em primeiro lugar, isso pode causar uma quantidade significativa de espera extra.

    

Answer 2

O Squid precisa de ./configure --with-large-files para suportar objetos maiores que 2 GB (deve ser habilitado por padrão nos pacotes Debian / Ubuntu do squid).

Se a maioria dos arquivos for acessada com frequência pela maioria dos clientes, considere instalar um espelho rsync.