Como grandes empresas fazem backup de seus dados?

Question

Como as empresas que lidam com grandes quantidades de dados, como o Google ou o Facebook, fazem backup de tudo?

De acordo com este artigo da plataforma Google na Wikipedia, o Google tem um número estimado de mais de 450.000 servidores, cada um com mais de 80 Disco rígido GB. Isso é um monte de dados. Eles realmente guardam mais de 1 GB de backup para cada 1 GB de dados?

    

Answer 1

Depende de qual é o seu objetivo.

Se você estiver procurando por backups para recuperação de desastres (servidor explodido, datacenter incendiado, etc), a resposta curta é que eles podem não fazer backups. Temos um cliente que lida com dados confidenciais do governo, e parte de seu mandato é que não temos permissão para fazer backups ou backups em mídia removível . Somos permitidos a replicação ao vivo para um site de DR e é isso. Ambos os sites são cobertos no mesmo nível de segurança física e lógica. O problema aqui é que, se eu estragar algo no Site A, ele é replicado para o Site B quase instantaneamente.

Se você estiver falando de backups do ponto de vista da integridade de dados (por exemplo, você acidentalmente descartou a tabela Clientes e já foi replicado para o site de DR), as fitas LTO-5 em uma grande biblioteca de fitas geralmente estão em andamento. Com até 3 TB por fita e várias fitas em uma biblioteca de fitas, você pode rapidamente fazer o backup de grandes quantidades de dados (rápido aqui refere-se a Mbps, pode ainda levar muitas, muitas horas para fazer backup de 25 TB de dados).

Qualquer suíte de backup decente fará alta compactação e eliminação de erros, o que reduz enormemente a quantidade de espaço de armazenamento necessário. Eu vi uma estimativa para uma ferramenta de backup do Exchange compactada e de-duped uma vez que reivindicou uma proporção de 15: 1 (15gb de dados armazenados em 1GB de backups).

Eu duvido muito que o Google se preocupe com os backups de muitos dos dados de seus mecanismos de busca, porque a maioria é substituível, e é distribuído tão longe que se eles perdem até mesmo uma parte significativa, ou até mesmo um datacenter inteiro o sistema fica online graças às rotas BGP de failover.

Na verdade, parece que o Google faz backup de uma métrica de dados em fita , que não é bem o que eu esperava:

    

Answer 2

A maioria de seus dados é armazenada em seu próprio sistema de arquivos GFS, e o GFS requer que haja pelo menos três cópias de cada bloco de 64 MB que faz um arquivo (o GFS usa blocos de 64 MB). Tendo isso dito, não acho que eles se incomodem com os backups, pois eles têm pelo menos três cópias de cada arquivo, e os blocos no nó com falha podem ser rapidamente substituídos simplesmente replicando dados de qualquer uma das duas boas cópias restantes para um novo nó.

Para mais informações, consulte o link

    

Answer 3

A resposta de farseeker é boa, mas acho que poderia ser esclarecida pensando a partir desta perspectiva: o que você está tentando restaurar? É para DR? Qual é o tempo de recuperação necessário? Como exemplo, suponha que sua empresa dependa de um banco de dados do servidor SQL de 25 TB. Em caso de falha de dados ou erro (tabela descartada, banco de dados corrompido etc), o CTO deseja recuperar o banco de dados em menos de uma hora. Em caso de falha no site, são necessárias duas horas.

Em face disso, isso parece difícil, mas não é impossível. Como você sabe que sua estratégia de backup precisa ser recuperada em uma hora, você sabe que não restaurará backups completos, terá que trabalhar com as equipes de dba para garantir que o banco de dados seja particionado em partes gerenciáveis. Você também fará backups frequentes de logs trans. Para DR, deve-se observar uma estratégia de replicação (talvez uma versão com atraso no tempo, com dados de log replicados em tempo real, mas não aplicados). Como farseeker disse que depende do propósito, e que o objetivo deve ser fazer alguma forma de recuperação.