Como eliminar o backup de fitas e o serviço de armazenamento externo?

5

POR FAVOR, LEIA ATUALIZAÇÃO NO FUNDO. OBRIGADO! ;)

Informações do ambiente (todas as janelas):

  • 2 sites
  • 30 servidores do site 1 (3 TB de dados de backup)
  • 5 servidores no site 2 (1 TB de dados de backup)
  • túnel de backbone MPLS que conecta o site nº 1 e o site nº 2

Processo atual de backup:

Backup on-line (disco para disco)

O site nº 1 tem um servidor executando o Symantec Backup Exec 12.5 com quatro discos USB 2.0 de 1TB. As tarefas BE para backups completos são executadas todas as noites em todos os servidores no site 1 para esses discos. O Site # 2 faz o backup em um servidor de arquivos central usando software que eles já tinham quando os compramos. Um job BE extrai esses dados todas as noites para o site # 1 e os armazena nos discos.

Backup fora do local (fita)

Conectado ao nosso servidor de backup é uma unidade de fita. O BE faz o backup dos discos externos em fita uma vez por semana, o qual é retirado pela nossa empresa de armazenamento externo. Obviamente, rodamos duas bibliotecas de fitas, uma sempre está aqui e uma está sempre lá.

Requisitos:

  • Elimine a necessidade de serviços de armazenamento em fita e fora do local, fazendo disco-para-disco em cada site e replicando o site nº 1 para o nº 2 e vice-versa.
  • A solução baseada em software como opções de hardware tem sido muito cara (ou seja, SonicWall, Arkeia).
  • Agentes do Exchange, SharePoint e SQL.

Algumas ideias até agora:

Armazenamento

DroboPro em cada site com 8 TB iniciais de armazenamento (estes são expansíveis até 16 TB no momento). Eu gosto disso porque eles são montáveis em rack, permitem drives diferentes e possuem interfaces iSCSI. Eles são relativamente baratos também.

Software

O Symantec Backup Exec 12.5 já tem todos os agentes e licenças de que precisamos. Eu gostaria de continuar a usá-lo, a menos que haja uma solução melhor, com preço similar, que faça tudo o que o BE faz, além de deduplicação e replicação.

Servidor

Como não há mais necessidade de um adaptador SCSI (para unidade de fita), vamos virtualizar nosso servidor de backup, já que é atualmente a única máquina física salva em caixas SQL.

Problemas:

  • Ao replicar entre sites, queremos que o mínimo de dados possível seja transmitido pelo canal. Não há desduplicação ou compressão no que descrevi até agora.
  • Os arquivos que estão sendo replicados são as bibliotecas de fitas virtuais do BE do nosso backup de disco para disco. Por causa disso, cada um desses arquivos enormes vai passar pelo fio todas as semanas porque eles mudam todos os dias.

E finalmente, a pergunta:

Existe algum software lá fora que faça desduplicação, ou pelo menos compressão, para lidar apenas com a nossa replicação site a site? Ou, olhando para nossa configuração, há alguma outra solução que esteja faltando e que possa ser mais barata, mais rápida, melhor?

Obrigado. Desculpe por muito tempo.

UPDATE 2:

Definai uma recompensa por essa questão para obter mais atenção. Eu estou procurando por software que irá lidar com a replicação de dados entre dois sites usando a menor quantidade de dados possíveis (compressão, desduplicação ou algum outro método). Algo semelhante ao rsync funcionaria, mas ele precisa ser nativo para o Windows e não uma porta que envolva travessuras para se levantar e rodar. Prefiro um produto baseado em GUI e não me importo de descascar alguns ossos se funcionar.

Por favor, respostas que atendem apenas aos critérios acima. Se você acha que não existe ou se acha que estou sendo restritivo, guarde para si mesmo. Se depois de sete dias não houver resposta, então que seja. Obrigado mais uma vez a todos.

UPDATE 2:

Eu realmente agradeço a todos as sugestões. Não há como tentar tudo isso antes que a recompensa expire. Por enquanto vou deixar essa recompensa acabar e quem tiver mais votos receberá os 100 pontos de repetição. Obrigado novamente!

    
por Daniel Lucas 16.06.2009 / 23:12

18 respostas

6

O Windows Server 2003 R2 e posterior têm suporte para DFSR, que eu usei extensivamente para sincronizar e fazer backup de grandes quantidades de dados em um canal pequeno em três locais (80 GB + em T1 < - > T1 < - > Topologia T1).

msdn.microsoft.com/pt-br/library/bb540025 (VS.85) .aspx

Replicating data to multiple servers increases data availability and gives users in remote sites fast, reliable access to files. DFSR uses a new compression algorithm called Remote Differential Compression (RDC). RDC is a "diff over the wire" protocol that can be used to efficiently update files over a limited-bandwidth network. RDC detects insertions, removals, and rearrangements of data in files, enabling DFSR to replicate only the deltas (changes) when files are updated.

O DFSR é totalmente multimaster e pode ser configurado da maneira que você quiser. Isso manterá seus dados em sincronia no local de "backup", por uma pequena quantidade de largura de banda e CPU. A partir daqui, você pode usar o Serviço de cópias de sombra de volume.

technet.microsoft.com/pt-br/library/cc785914.aspx

The Volume Shadow Copy Service can produce consistent shadow copies by coordinating with business applications, file-system services, backup applications, fast-recovery solutions, and storage hardware. Several features in the Windows Server 2003 operating systems use the Volume Shadow Copy Service, including Shadow Copies for Shared Folders and Backup.

As cópias de sombra residem no disco e "não ocupam espaço", exceto os arquivos alterados de instantâneo para instantâneo. Este é um processo que pode ser executado em um conjunto de dados ao vivo sem efeitos nocivos, além de aumentar ligeiramente a E / S do disco à medida que o instantâneo é criado.

Eu usei essa solução por algum tempo com grande sucesso. As alterações nos arquivos foram gravadas nos outros sites em segundos (mesmo nos links de baixa largura de banda), mesmo nos casos em que apenas alguns bytes de um arquivo muito grande são alterados. Os instantâneos podem ser acessados independentemente de qualquer outro instantâneo tirado a qualquer momento, o que fornece backups em caso de emergência e muito pouca sobrecarga. Eu configurei os instantâneos para disparar em intervalos de 5 horas, além de uma vez antes do dia de trabalho começar, uma vez durante a hora do almoço e uma vez após o dia terminar.

Com isso, você pode armazenar todos os dados em paralelo nos dois locais, mantendo-os atualizados e "com backup" (o que resulta em versão, na verdade) sempre que desejar.

O Shadow Copy Client também pode ser instalado nos computadores clientes para fornecer acesso aos arquivos com versão.

www.microsoft.com/downloads/details.aspx?FamilyId=E382358F-33C3-4DE7-ACD8-A33AC92D295E&displaylang=en

Se um usuário excluir acidentalmente um arquivo, ele poderá clicar com o botão direito do mouse na pasta, propriedades, Cópias de Sombra, selecionar o instantâneo mais recente e copiá-lo para fora da captura instantânea, exatamente onde ele pertence.

Os backups do MSSQL podem ser gravados em uma pasta específica (ou compartilhamento de rede) que seria, então, sincronizada automaticamente entre sites e com versão em um cronograma definido por você.

Descobri que a redundância de dados e o controle de versão com eles podem funcionar como um sistema de backup incrível. Ele também oferece a opção de copiar um instantâneo específico fora do local sem interferir no fluxo de trabalho, pois os arquivos não estão em uso ...

Isso deve funcionar com sua configuração, já que o segundo site de backup pode ser configurado como uma sincronização / espelho somente leitura.

    
por 22.06.2009 / 22:19
3

O Windows não é minha área de especialização, mas o rsync pode ajudar a obter os backups de um site para outro. O Rsync funciona dividindo os arquivos em blocos menores e transferindo apenas os blocos que foram alterados pela rede. Ele também pode compactar os dados conforme eles são enviados.

Existem algumas versões dele para o Windows, mas nunca as usei, por isso não posso comentar como elas funcionam. Com o cygwin você pode obter o rsync no Windows, mas isso pode tornar as coisas um pouco confusas. Mas o ideal é que você encontre um cliente rsync para Windows que permita usar as tarefas agendadas para automatizar sua execução.

    
por 16.06.2009 / 23:30
2

Editar:

Estamos usando o "SureSync" do Software Pursuits (consulte link ) para replicar dados entre uma produção e uma espera servidor no site remoto do Cliente com grande sucesso. É um aplicativo nativo do Windows, executado como um serviço nas máquinas do publicador e do assinante, copia os deltas, retém a segurança, segue o diário de alterações do NTFS e, em geral, se ajustou às nossas necessidades.

(Nosso cliente específico que está fazendo isso ainda tem a tradicional rotação de backup de fita externa também. Acho que você ainda precisa de backups off-line e não posso responder à sua pergunta com boa consciência sem deixar essa seção da minha resposta intacta Mas posso dizer-lhe que o SureSync tem sido ótimo. Leia alguns dos changelogs do produto - é claro para mim que o fabricante está realmente atento aos detalhes.)

Uma observação: se você eliminar a fita, estará eliminando o armazenamento off-line. Off-site é uma coisa, mas offline é uma coisa diferente. Quando um atacante remoto destrói seu sistema de produção, é realmente muito bom ter um intervalo entre as fitas e a unidade de fita para impedi-los de destruir os backups também.

Você precisa de armazenamento externo de backups e também precisa de backups off-line.

Também é muito difícil que um terceiro independente faça uma restauração de teste e verificação de dados sem algo como fita. Talvez em sua indústria isso não seja uma preocupação, mas trabalhei para instituições financeiras que enviaram seus dados, via fita, para terceiros para verificar independentemente a integridade de seus dados, tanto do ponto de vista da "restorabilidade", e a partir de um "vamos ver se seus totais se comparam adequadamente com os totais que calculamos em uma instalação confiável do seu aplicativo usando apenas seus dados como entrada".

    
por 17.06.2009 / 00:33
1

Se você quiser aumentar a velocidade do seu site para a replicação do site, poderá procurar um acelerador de WAN. Existem vários no mercado. Outro administrador apenas recomendou os da Riverbed para mim: link

Basicamente, compactam os dados antes de enviá-los e descompactam os dados após o recebimento. É perfeito para o usuário.

    
por 16.06.2009 / 23:38
1

O BackupExec não facilita isso. Idealmente, você deve ter a opção de "copiar" um backup para algum lugar, e não tenho certeza se o BE tem esse .

Aqui está o que eu criaria se estivesse usando o HP Data Protector nesse ambiente. Tem uma cópia para trabalhos. Ele também tem uma opção de desduplicação, mas eu seria profundamente cuidadoso com isso em sistemas de arquivos com mais de 500 mil arquivos nele.

  • matriz de disco em ambos os locais você precisará dela para a replicação DR
  • Continue com backups em ambos os locais
  • Use um trabalho de cópia na segunda-feira para copiar trabalhos de fim de semana para o site remoto Uma vez por semana, copie seu backup completo da fita para o array de disco do centro de dados remoto. O banco de dados do DP acompanhará os dois trabalhos de backup.
  • Definir a expiração do trabalho de B2D apropriadamente Decida quantas cópias remotas serão necessárias no local remoto e defina o período de retenção de dados corretamente no trabalho de cópia. Esse pode ser um intervalo separado da retenção da rotação da fita.

Acredito que você pode definir backups em disco para usar a compactação, mas isso realmente diminuirá a velocidade de backup, já que isso será feito em software.

A desduplicação do DataProtector funciona apenas para servidores de arquivos no Windows e no Linux. Ele não irá desmontar o Exchange / MS-SQL / Sharepoint.

    
por 16.06.2009 / 23:53
1

A IBM adquiriu uma empresa anteriormente chamada "Softek" que possui uma solução de software chamada Replicator. É a replicação em nível de bloco que é executada por TCP / IP. Após a conclusão da sincronização inicial, somente os blocos alterados são copiados para o site remoto. Então, apenas porque um dos seus enormes arquivos BE foi modificado, não seria necessário copiar o arquivo inteiro. Este é um aplicativo nativo do Windows, possui um console fácil de usar e é uma ótima maneira de gerenciar a sincronização de disco em uma rede.

Replicador IBM / Softek

    
por 23.06.2009 / 23:10
1

Eu tive um problema semelhante há cerca de um ano e analisei tudo, de robocopy e rsync a aceleradores Cisco WAAS e WAN. Eventualmente me deparei com uma solução barata e estúpida que funciona muito bem para sincronizar com segurança e rapidez os arquivos entre sites. A Delta sincronização é a chave. A maioria dos clientes P2P, se não todos, fazem apenas sincronizações completas de arquivos.

Powerfolder
Ele tem um modo LAN-Only, permitindo que você especifique com quais conjuntos de IP você poderá se conectar. Ele também tem uma boa mistura de modos de transferência.

Houve um pouco de escavação para configurar as coisas exatamente como eu queria. Os caras da Powerfolder definitivamente não são desenvolvedores de UI, mas o suporte foi extremamente útil e sua documentação na wiki é ótima mesmo se a função de busca na wiki não for. : -)

Ainda não fomos a uma solução inline para Exchange, SQL e Sharepoint, mas salvar um backup dos bancos de dados em disco e fazer com que o Powerfolder os sincronize é o suficiente para nós.

Esta solução funciona bem e a empresa adora, pois custa menos de US $ 100 (excluindo horas-homem para pesquisa e configuração) para implementar.

É surpreendente que Powerfolder não seja mais conhecido.

P.S. - desculpe pela falta de links (modo somente LAN, modos de transferência, etc). "novos usuários podem postar apenas um máximo de um hiperlink"

    
por 24.06.2009 / 00:12
1

Por mais que eu odeie dizer isso, a maneira mais fácil e rápida de executar backups de vários sites é com uma boa matriz de armazenamento. Tanto a Dell / EqualLogic quanto a HP / LeftHand possuem software incorporado em seus produtos SAN que permitem backups incrementais constantes em várias SANs. Eles são rápidos e fáceis de configurar, mas podem não ser a solução mais barata.

    
por 26.06.2009 / 21:17
1

Adicionando uma nova opção a este thread em execução.

O software que começamos a usar é feito pelo AppAssure, (agora adquirido pela Dell) O nome do produto é chamado de repetição.

ele é projetado para servidores Windows que fazem backup de disco para disco e há uma opção de replicação que permite copiar automaticamente os instantâneos para um site remoto.

Inclui a desduplicação automática, o acúmulo automático de versões e a replicação é bastante eficiente e pode ser programada para ocorrer em horários de inatividade, mesmo se os instantâneos de backup estiverem acontecendo o dia todo, em 15 minutos ou por hora.

Apenas as alterações são enviadas pela WAN, não uma cópia completa dos dados e, se você precisar fazer uma nova cópia completa dos dados, poderá descarregar o backup inicial em um disco externo e enviá-lo para o site remoto. ser importado para evitar que você tenha que enviar um backup completo pela WAN para a sincronização inicial.

Para discos de backup, um companheiro perfeito é o sistema Drobo B800i Iscsi san. É relativamente barato, pega unidades SATA de prateleira e tem desempenho razoável para fazer backups (mas não o suficiente para fazer algo muito pesado como hosts VMWare ESX ou hospedagem de dados SQL). Há uma razão pela qual a Drobo não publica dados de desempenho O B800i é bem mais barato se comparado a algo como um Equallogic PS san, ou qualquer coisa de grandes fornecedores de SAN como EMC ou HP. Mas é ótimo como o armazenamento de um disco para o sistema de disco.

    
por 14.04.2012 / 09:38
0

Uma coisa a considerar. Por quanto tempo você manterá snapshots / backups no disco? A fita é geralmente usada para arquivamento a longo prazo. Se eu precisar restaurar um email que foi excluído há um ano, vou para a fita. A menos que você mantenha seu disco por tanto tempo sem excluir, você está eliminando uma grande parte de sua capacidade de restaurar dados.

    
por 16.06.2009 / 23:45
0

Para velocidade, facilidade de uso e preço, você deve realmente olhar para um dispositivo de desduplicação de destino, como o ExaGrid. Em funcionamento muito rápido, com replicação para um site de DR. Elimine completamente a fita. www.exagrid.com

    
por 17.06.2009 / 00:02
0

Temos dois servidores A e B

Servidor A Executa um nó primário para o SQL Server (principal) IIS 6.0 Balanceamento de carga de rede (NLB) Serviço de arquivo replicado

Servidor B Nó secundário (failover para o servidor A) para o SQL Server IIS 6.0 NLB Serviço de arquivo replicado

Se A cair, todos os dados estarão em B e vice-versa. Os arquivos são replicados através do agente de replicação que cuida dos nossos sites e isso é atualizado sempre que os arquivos são alterados em qualquer servidor. Os dados são espelhados para a máquina de failover, portanto, se A cair, B assumirá automaticamente a função de DB principal. Com o NLB, o usuário final não precisa saber qual servidor está atingindo, o que minimiza o tempo de inatividade e a necessidade de se preocupar com muitos problemas de configuração.

Além disso, ainda fazemos backups regulares do banco de dados e os arquivos são armazenados fora do local. Se você tiver muitos dados, provavelmente terá que considerar um meio de hardware para seu backup, mas se as alterações forem pequenas a cada dia, considere um serviço de backup online nesse caso.

Seus dados são sua reputação e sua empresa O que quer que você faça, gaste o dinheiro para garantir que seus dados estejam seguros desde o dia em que você perdeu tudo ou está corrompido, o custo de uma solução robusta de backup agora parecerá com moedas de um centavo.

    
por 20.06.2009 / 20:12
0

A primeira coisa que eu tentaria fazer nesse ambiente é eliminar os servidores no site menor. A viabilidade de fazer isso depende de vários fatores, como número de usuários, disponibilidade de largura de banda, tipo de dados que estariam passando pelo link e assim por diante. Presumo que com 5 servidores estamos falando de um número relativamente pequeno de usuários, então investigar uma solução Riverbed ou equivalente (possivelmente com um servidor de impressão de hardware e usar o roteador para lidar com DHCP e cache de DNS local) pode ser economicamente mais viável do que a manutenção de servidores / etc, simplificaria muito a sua configuração e levaria, em geral, a uma redução na sobrecarga administrativa, melhores níveis de serviço e assim por diante.

    
por 20.06.2009 / 20:56
0

Você deve dar uma olhada em robocopy ou, se precisar de um guia , richcopy . Ambas as ferramentas são multithreaded, rápidas, eficientes e têm muitas opções para mesclar e sincronizar. Você pode usar em conjunto com o comando banco de dados de backup osql (para backup do banco de dados ) e exmerge (para backup de troca em nível de bloco), e pode criar uma tarefa simples programada para automatizar.

    
por 21.06.2009 / 09:42
0

Isso pode parecer um pouco insano, mas recorri ao uso de um sistema de controle de versão para enviar arquivos de backup para um único repositório que eu faça backup religiosamente. É um modelo de spoke e hub (não distribuído como git) e eu encontrei uma infinidade de clientes. A coisa realmente boa sobre isso é a trilha de auditoria e fácil de obter os backups usando os clientes quase onipresentes para o sistema de controle de versão. De-duplicação é algo que tem sido uma meta essencial para sistemas de controle de versão e alguns deles fazem várias verificações e cópias superficiais quando os mesmos dados chegam mais de uma vez.

    
por 22.06.2009 / 00:17
0

Eu usaria pessoalmente o Unison para sincronizar sites. É bem suportado no Windows, ele sincroniza apenas blocos de dados modificados como o rsync, ele tem um GUI fácil de usar e é gratuito tanto como fala quanto cerveja. Eu configurei para backups de 16 TB e funciona bem.

Você poderia então simplesmente replicar seus backups VTL de cada site para o outro, e é sobre isso.

    
por 22.06.2009 / 12:59
0

Se você ainda não viu, faça check-out do Data Protection Manager (DPM).

link

Estou no processo de configuração para uso interno. Eu não sei todos os ins / outs ainda. Eu não sabia que a Microsoft oferecia esse produto até recentemente.

Eu sei que vai fazer o delta diffs, mas não tenho certeza sobre suas necessidades de replicação.

    
por 26.06.2009 / 20:17
0

Confira o EVault Express Recovery Appliance

link

É um sistema baseado em disco que faz offsite como um serviço ou você pode usar seu próprio sistema de evasão. É fácil na largura de banda e backups / restaurações rápidos.

Eu usei algumas soluções de backup populares e esta foi de longe a mais fácil de aprender / usar. O serviço foi 10 vezes melhor também.

    
por 26.06.2009 / 21:27