btrfs para deduplicação e compactação ao mesmo tempo?

Question

Estou pensando em usar as funções do btrfs para deduplicar e compactar meu armazenamento ...

Minha pergunta é: é eficiente?

Quero dizer, desduplica e comprime ao mesmo tempo eficientemente?!

Estou usando o Ubuntu 14.04 de 64 bits. Além disso, estou planejando usá-lo com o raid0 sobre os volumes otimizados do EBS em um ambiente de Cloud Computing ...

Tks! Thiago

    

Answer 1

Se você está escrevendo sobre a deduplicação com o utilitário bedup , a resposta é: desduplicação e compactação são processos completamente independentes .

Durante a deduplicação, nenhum conteúdo de arquivo é regravado (somente metadados), portanto, não há oportunidade de compactar os dados.

E tenho 99% de certeza de que o status de compactação é transparente para o bedup , já que é quase impossível obter o conteúdo original e compactado do arquivo fora do btrfs.

Por outro lado, a recompressão de dados antigos ocorre quando você desfragmenta a unidade (por exemplo, com btrfs filesystem defragment -r -v -clzo / ). No momento, isso quebrará a deduplicação de arquivos.

    

Answer 2

Atualmente, não há desduplicação on-line. Está planejado, mas ainda não implementado. Existe um patchset experimental (www.mail-archive.com/linux-btrfs%40vger.kernel.org/msg32862.html) se você quiser tentar.

Apenas por experiência pessoal, não há nenhum impacto perceptível na compactação on-line em um hasswell i5 4460 ao gravar em um ssd e 3 hdds de uma vez (um dos hdds é formatado com xfs, portanto, nenhuma compactação estava sendo executada. Defragging / recompressing as 3 unidades btrfs dão uma carga de cpu em torno de 50%, mas o sistema ainda parece suave.Isso é com lzo e compressão não forçada (a menos que você force, o btrfs pára de tentar comprimir um arquivo se ele é incompressível + lzo é mais rápido que zlib). O limite ainda é a velocidade da unidade, mesmo com um ssd.