Compactar e hospedar grandes quantidades de HTML estático

Question

Atualmente, estou executando um pequeno site que está sendo usado para hospedar grandes quantidades de HTML estático (gerado). O problema é que o espaço em disco é limitado e o HTML está crescendo 1 GB por semana. (Os arquivos são agrupados em diretórios, com cerca de 500 arquivos cada, e totalizam 10B-100MB. Os arquivos compactam muito bem [abaixo de 10%])

O ideal é que eu esteja procurando uma maneira de compactar todos os arquivos HTML no HDD enquanto ainda possa servi-los facilmente.

    

Answer 1

O mod_gunzip mencionado por Matt Simmons parece não existir para o Apache 2.x. A substituição mencionada pelo desenvolvedor é usar o Módulo Apache mod_ext_filter . Eu não testei, mas parece que deve ser muito fácil criar um filtro que descompacte os arquivos a serem exibidos.

A outra coisa que você deve considerar é que o navegador mais atual aceita conteúdo que tenha sido comprimido pelo gzip. Pode ser possível para você gzip seus arquivos e servir os arquivos gzip'd sem fazer nada de especial. Aqui está um link com alguns detalhes.

    

Answer 2

Sistema de arquivos compactado - Outra solução é lidar com a compactação de uma camada abaixo do servidor da Web e arquivos - no nível do sistema de arquivos.

Eu não fiz sozinho, mas você pode experimentar algo como fusecompress - então separe seu www se você já não, e torná-lo um fs comprimido de algum tipo.

Obviamente, isso vai te custar algum desempenho, mas se o processador é decente, então pode estar tudo bem.

    

Answer 3

Você já viu o mod_gunzip? Sou novo demais para vincular a ele, mas uma pesquisa no Google deve apontar você na direção certa.

    

Answer 4

Você pode agrupar todas as suas páginas em um script semelhante a este:

bzcat $ 1.bz2

Onde $ 1 é o arquivo solicitado. Um rápido script PHP / Perl / whatever pode efetivamente puxar o caminho das variáveis de requisição, e lá você vai.

Você perde a velocidade dos arquivos estáticos, mas isso pode não importar para seu caso de uso.

    

Answer 5

Uma resposta seria rodar o site em um host Windows e simplesmente comprimir o sistema de arquivos NTFS

Outra opção seria um sistema OpenSolaris executando o ZFS

    

Answer 6

A maioria dos navegadores entende páginas HTML compactadas. Uma solução é gzipar cada página e fazer com que seu servidor adicione um cabeçalho "Content-Encoding: gzip" a cada resposta.

    

Answer 7

gzip todos os arquivos e use Options +MultiViews se estiver usando o Apache.