Colocando em cache grandes quantidades de dados

Question

Precisamos armazenar em cache todos os arquivos psd / zip do nosso armazenamento amazone S3. A quantidade do cache entre 150-200 Gb (precisamos armazenar arquivos pelo menos 2 meses). Agora usamos o proxy squid transparente sem qualquer cache.

Então, minha pergunta: é possível configurar o "principal" do squid de tal forma que todas as consultas ao s3.amazonaws.com ele fará proxy para o pai lula. No pai lula precisamos armazenar todos os arquivos zip e psd apenas em s3.amazonaws.com. Se não houver tais arquivos no cache, o pai lula será baixado e colocará "novos" arquivos no cache.

Como o squid funciona com arquivos de 1-2 gb? Existe alguma limitação?

A principal prova desta configuração é que todos os arquivos psd / zip do armazenamento amazone são entregues aos clientes locais com velocidades máximas do cache local. Porque os mesmos arquivos ao mesmo tempo utilizados por diferentes funcionários e passamos muito tempo para baixar esses arquivos por cada funcionários

Esta questão pode ser resolvida de maneiras diferentes?

    

Answer 1

Testamos nosso sistema por mês e ele funcionou bem. se alguém estiver interessado, abaixo eu adicionei arquivos de configuração (main / parent squid)

arquivo de configuração principal do squid (192.168.100.1)

acl local_net src 192.168.0.0/16
acl parent_peer peername PARENT_PEER
acl parent_squid dst 192.168.100.50

acl FILE_TO_CACHE urlpath_regex \.(zip|iso|rar)$
acl STORAGE dstdomain storage.example.net

http_port 192.168.100.1:3128 intercept
icp_port 3130

cache_peer 192.168.100.50 parent 3128 3130 name=PARENT_PEER connect-timeout=7 proxy-only
cache_peer_access PARENT_PEER allow STORAGE FILE_TO_CACHE

# to connect to parent via internal interface
tcp_outgoing_address 192.168.100.1 parent_peer

# to properly get cache digest from parent
tcp_outgoing_address 192.168.100.1 parent_squid

# sent all other packets via ISP2
tcp_outgoing_address xxx.xxx.xxx.xxx local_net

arquivo de configuração do pai squid (192.168.100.50)

acl main_squid src 192.168.100.1

acl FILE_TO_CACHE urlpath_regex -i \.(zip|iso|rar)$

cache allow FILE_TO_CACHE
cache deny all

http_access allow main_squid
http_access allow localhost
http_access deny all

icp_port 3130
icp_access allow main_squid
icp_access deny all

http_port 192.168.100.50:3128

cache_mem 12 GB
maximum_object_size_in_memory 64 MB
minimum_object_size 16384 KB
maximum_object_size 1024 MB

cache_swap_low 93
cache_swap_high 98

refresh_pattern \.iso$ 129600 100 129600 override-lastmod override-expire ignore-reload
refresh_pattern \.zip$ 129600 100 129600 override-lastmod override-expire ignore-reload
refresh_pattern \.rar$ 129600 100 129600 override-lastmod override-expire ignore-reload

cache_effective_user squid
cache_effective_group squid