Verifique o lessFS, sistema de arquivos de deduplicação de dados, para Linux. Ainda está em beta, mas você pode testá-lo:
Atenciosamente,
MV
A NetApp fornece desduplicação em nível de bloco (ASIS). Você conhece algum sistema de arquivos (mesmo baseado em FUSE) no Linux (ou OpenSolaris, * BSD) que forneça a mesma funcionalidade?
(Eu não estou interessado em desduplicação falsa como hardlinks).
Verifique o lessFS, sistema de arquivos de deduplicação de dados, para Linux. Ainda está em beta, mas você pode testá-lo:
Atenciosamente,
MV
A desduplicação está chegando ao ZFS no OpenSolaris, mas essa funcionalidade não está disponível no momento.
Foi protótipo de Jeff Bonwick e Bill Moore no inverno passado e eles estão trabalhando para integrá-lo neste verão. Por isso, deve estar disponível na próxima versão do OpenSolaris ou mais cedo, se você quiser brincar com o ramo de desenvolvimento.
Para pessoas que não estão familiarizadas com a desduplicação de dados, é uma técnica na qual os dados são analisados no nível do arquivo (ou bloco, suponho) e onde arquivos / blocos idênticos são substituídos por um token menor. Isso tem o efeito de diminuir consideravelmente o tamanho efetivo no disco. Pode ser considerado uma forma de copy-on-write . Leia a página wiki .
Não há sistema de arquivos que eu tenha ouvido falar no Linux para fazer dedup, arquivo ou nível de bloco. Uma fera assim seria útil, apesar de ser um processador muito intenso.
A desduplicação está agora disponível com o ZFS no OpenSolaris (build 128a e newers).
Um ano depois, mas aqui está uma solução para o OpenBSD chamada Epitome: link . Contanto que seja licenciamento liberal, ele pode muito bem entrar no kernel Linux.
Acabei de postar um projeto em que estou trabalhando que desduplica inline. Você pode dar uma olhada nele aqui se estiver interrested. É baseado em fusível e roda no linux.
Não conheço nenhuma implementação gratuita de dedup para o Linux. Eu vi alguns fornecedores de armazenamento recomendando o uso de um sistema HSM (gerenciamento hierárquico de armazenamento) com uma VTL (Virtual Storage Library) que faz dedup.
Você também pode considerar um Occarina como sistema que não é transparente, mas pode fornecer melhores resultados do que dedup.
então ... não há notícias sobre desduplicação no Linux? O opendedup pode ser uma escolha, mas dando a plataforma java em que ele roda, eu não quero ter dores de cabeça. Eu tentei sim, mas esta máquina java e o resto não estão muito bem com as minhas necessidades de tempos de resposta de armazenamento e segurança.
A opção de desduplicação está disponível no Linux, nos sistemas de arquivos BTRFS e ZFS. O BTRFS é desenvolvido nativamente sob o linux e possui uma ferramenta de desduplicação off-line. Eu não estou pensando 'offline', você deve desmontar fs. Offline significa que os dados ativamente gravados não são desduplicados. Mas depois você corre a ferramenta para deduplicar pensa armazenado agora. Na verdade, provavelmente, a ferramenta está em beta. Outra maneira é dentro do ZFS. Disponível como FUSE e nativamente: link . Isso faz desduplicação on-line, infelizmente, essa lentidão escreve porque tudo deve ser calculado na hora. Você pode online e fora deste comportamento. Após a deduplicação, todos os dados desduplicados ainda serão armazenados como desduplicados. Novas gravações serão armazenadas como "duplicadas". Se você quiser deduplicar esses dados no futuro, deverá ativar a deduplicação e reescrever todos os arquivos "duplicados".
Veja o documento disponível na página. Para agilizar as escritas e leituras, você pode adicionar dispositivos mais rápidos ao pool de armazenamento (especialmente unidades SDD ou USB flash mais rápido, preste atenção na confiabilidade do dispositivo).
DRBD faz exatamente isso e faz muito bem! Pode fazer Master / Slave ou Master / Master: -)
Tags linux deduplication netapp