O que é “deduplicação”?

Question

Quero dizer, posso procurar a definição do dicionário, mas por que todo mundo fala de repente sobre isso em referência a bibliotecas de fitas virtuais? O que é "novo" aqui, de modo que ultimamente tem aparecido nas notícias?

    

Answer 1

A desduplicação é onde você observa o conteúdo de um conjunto de dados, observa todos os bits duplicados presentes e armazena os dados apenas uma vez, substituindo todas as cópias de dados que estavam com um ponteiro de volta para a única cópia. É particularmente útil com backups, porque quando você faz backup de coisas como servidores, muitos dos dados são os mesmos. Imagine, por exemplo, que você está fazendo backup de 1.000 servidores Windows - grande parte do conteúdo dessas caixas será idêntico.

A desduplicação é tão popular hoje por três motivos:

1. Ultimamente, todos estão obcecados em criar soluções de recuperação de desastres que utilizam servidores externos. Para fazer isso, você precisa replicar muitos dados de produção para o site remoto e a largura de banda é um problema enorme. Qualquer redução na quantidade de dados que você precisa replicar ajuda muito.

2. A quantidade de dados que as empresas estão retendo está explodindo - graças ao armazenamento mais barato e aos requisitos de vários setores para a retenção de registros.

3. A tecnologia recentemente atingiu o ponto ideal. Tivemos coisas como a desduplicação por um longo tempo (armazenamento de instância única, etc.), o que ajudou, mas apenas no último ano vimos uma desduplicação real que pode reduzir significativamente a quantidade de armazenamento que atingiu o mainstream.

Answer 2

Uma das coisas que descobrimos na minha empresa ao trabalhar com o Netapp é que a desduplicação realmente funciona bem apenas em um ambiente de VM, se você tiver suas unidades alinhadas. O que é um problema para nós, pois temos muitas máquinas com Windows Server 2003 e nenhuma das unidades está alinhada. O que significa que você mal consegue se recuperar em torno de um quarto do espaço possível se as unidades estiverem alinhadas corretamente.

Estamos nos informando que, uma vez que as unidades estejam alinhadas corretamente, poderemos recuperar 40-60% de nosso espaço de volta com a dedup.