O que devo observar na criação de servidores de armazenamento de baixo orçamento?

Question

Estou tentando substituir nosso armazenamento atual. O sistema existente é apenas uma parte de arquivo de 450GB em nosso controlador de domínio de 7 anos, além de outros 150GB de outro servidor. Nós mapeamos estes para drives nas máquinas clientes. Ambos fazem backup em uma única unidade de fita de 400 GB. Adicione em alguns estados do sistema e um banco de dados sql server eo backup noturno é de cerca de 600GB. Isso é mais do que uma única fita serve e, por isso, atualmente temos um backup escalonado, no qual só tiramos um "cheio" de 1/5 do espaço total a cada noite da semana + um diferencial de tudo.

Para substituir isso, quero ir para dois servidores dedicados (primário, mais espelho e backup em um). O plano para o primeiro é um volume RAID 1 para os volumes OS + 2 RAID 10 2TB para dados (4 discos + 1 hot spare cada, 12 discos de 1 TB no total, incluindo OS). O plano para o outro é ter os mesmos 12 discos de 1 TB (espelhados a partir do primeiro servidor a cada noite). Ele também terá 2 volumes de 6 TB RAID 6 (5 discos de 2 TB cada, volumes separados para melhorar os inevitáveis tempos de reconstrução) que eu planejo usar nosso software de backup exec existente para criar um instantâneo diferencial a cada noite. Isso fornecerá armazenamento histórico / geracional para um backup real no lugar de nossa fita, e deve ser espaço suficiente para valer cerca de 30 dias (uma verificação simplista de nossa taxa de mudança mostra que preciso de uma proporção de 3: 1 para fazer isso). O segundo servidor viverá do outro lado do campus para evitar a necessidade de levar algo para fora do local.

Preferiria comprar uma solução suportada por fornecedores, mas o custo é um problema enorme aqui. Sei que posso fazer o que descrevi acima com um custo total de cerca de US $ 13.000 (incluindo o licenciamento do sistema operacional, agradeço o preço acadêmico para instituições educacionais), o que o coloca caminho abaixo de qualquer opção comercial que eu já vi. Eu tenho um parceiro confiável para o chassi básico, cartões RAID e backplane, então eu sei que estou conseguindo bons equipamentos lá, e sei que preciso de uma placa RAID de qualidade. Eu só não construí um servidor dessa escala antes e, portanto, minhas perguntas:

Existe alguma coisa que me falta que me deixe desnecessariamente aberta à perda de dados? Qualquer coisa que eu deveria procurar fazer ou evitar ao montar, instalar e configurar os servidores? Nada foi comprado ainda, então estou aberto a sugestões alternativas - mas o preço é fundamental. Alguns itens que chamam a atenção logo de cara que eu gostaria de comentar:

• Para reduzir o tempo / estresse do backup no primário, gostaria de fazer o backup noturno do espelho. Mas copiar para o espelho irá destruir o bit de arquivo que eu preciso para obter bons diferenciais / incrementais?
• Não sei exatamente como configurar o armazenamento geracional aqui, pois tanto o diferencial quanto o incremental precisam de uma base para trabalhar. Eu sei que posso usar o armazenamento primário diretamente para isso, e isso não é um grande problema para um arquivo aqui e ali, mas e se eu precisar fazer uma reconstrução completa de um volume? Como posso ter certeza de que os arquivos que não mudam por 30 dias ainda estão disponíveis?
• A solução que acabei de descrever requer 44 TB de espaço bruto de discos, mas expõe apenas 4 TB aos meus usuários. O restante é perdido para o espaço de backup RAID, espelho e histórico. Posso fazer com segurança melhor do que a proporção de 11: 1?

Answer 1

Eu ficaria muito cauteloso em construir seus próprios computadores. Parece que você está bem empatado nisso, no entanto. Certifique-se de observar os procedimentos antiestáticos adequados ao manusear o equipamento. Tente evitar o uso de unidades de disco rígido do mesmo lote de fabricação exclusivamente ao montar seus volumes RAID. Certifique-se de que os discos que você está comprando foram enviados na embalagem adequada ao choque, conforme determinado pelo fabricante (e não em uma embalagem tipicamente NewEgg "em suas embalagens anti-estáticas jogadas em uma caixa com plástico bolha e amendoim").

Como você vai criar sua própria caixa, precisará armazenar peças de reposição suficientes para componentes difíceis de substituir durante a vida útil prevista do sistema. Ter disponibilidade de peças de reposição é parte do que torna as opções "comerciais". Se você perder um backplane, controlador RAID ou placa-mãe, você precisa estar pronto para substituí-los. Você está atuando como seu próprio fornecedor de suporte de hardware. Isso aumentará seu custo de compra, mas você deverá adquirir peças de reposição agora enquanto elas estiverem prontamente disponíveis.

Eu agitava bastante o hardware antes mesmo de pensar em usá-lo na produção. Qualquer teste de carga ou simulação de uso de produção que você possa lançar no hardware é uma boa ideia. Você definitivamente quer sacudir qualquer "mortalidade infantil" no hardware antes de entrar em produção.

Um "espelho" sem várias gerações anteriores é uma cópia pobre fora do local. Se você está fazendo o "espelho" para permitir que você coloque o servidor de arquivos de backup em produção em caso de falha da produção, então faz sentido manter tal "espelho". Não é um backup, no entanto, na minha opinião. Isso soa mais como um mecanismo de redundância do que um mecanismo de backup. Eu recomendaria strongmente o uso de um backup que permita o armazenamento de várias gerações de alterações no servidor remoto, mesmo que você também mantenha um "espelho" funcional dos dados no servidor remoto para fins de failover de produção.

Fico feliz em saber que você ainda vai usar fita. Sou um grande fã de manter backups off-site e off-line. Os backups off-line são bons porque sua integridade (desde que sejam tomadas apropriadamente para começar) é muito mais fácil de assegurar do que um sistema que permanece on-line o tempo todo. É muito difícil atacar os dados em uma fita em uma caixa bloqueada remotamente.

A fita também é um ótimo meio de armazenamento para armazenamento de arquivos. O custo para expandir suas janelas de retenção é incremental (ao contrário de adicionar mais mídia giratória a uma solução baseada em disco rígido). Eu acho que você deve considerar strongmente o uso da fita para manter várias gerações de todos os seus dados off-site e off-line. Certifique-se de estar cumprindo todos os requisitos de negócios para manter arquivos de longo prazo em fita e planeje comprar mídia adicional conforme necessário. Você pode manter esses arquivos em um local mais geograficamente diverso para permitir alguma capacidade de recuperação no caso de um grande desastre físico.

Se você está fazendo um backup que é realmente uma "cópia", você não perderá os bits do arquivo. Isso depende do software que você está usando.

    

Answer 2

Veja uma sugestão sobre seus backups que podem ajudar a reduzir suas necessidades de armazenamento:

Execute um backup completo do SQL e do estado do sistema todos os dias (a menos que você esteja confortável em realizar backups de SQL no ponto no tempo).

Mude para executar backups incrementais diariamente para os backups do servidor de arquivos. Estou na área de TI há 11 anos e ainda não encontrei um cenário (knock on wood) em que precisei de um backup diferencial para restaurar um sistema ou restaurar dados. Talvez seja necessário voltar alguns dias para obter a "versão" de um arquivo que um usuário precisa restaurar, mas isso raramente é o caso, pois o usuário geralmente quer que a cópia de backup mais recente seja restaurada. No caso de uma falha completa do sistema, o pior cenário é que você precisará restaurar vários conjuntos de backups incrementais para trazer o servidor de arquivos de volta para "sincronizar". Isso, é claro, ampliará sua janela de recuperação, e isso pode ou não ser aceitável para você e para a organização.

Abordo o gerenciamento de sistemas de um ponto de vista de "possibilidade x probabilidade" e, na minha experiência, embora seja possível que eu precise de um backup diferencial, não é provável ... pela minha experiência. Isso me permitiu reduzir o tamanho de nossos backups diários e a janela de backup também.

    

Answer 3

Há material de appliance com replicação ou, pelo menos, recursos de cópia diferencial remota com base em itens como open-e , Nexenta ou Windows Storage Server lá fora no mercado.

No geral, prefiro não comprar componentes para construí-los juntos em servidores, mas comprar servidores / appliances com garantia do sistema - eles não custam muito mais, mas podem poupar muitos problemas no caso de um defeito de hardware.

Além disso, você não deve usar a fita "para backups de estado do sistema e SQL Server", mas para tirar cópias de seus dados críticos fora do local. Você deve fazer com que você mantenha um histórico, no entanto - provavelmente incorporando o SQL Server em seu processo de backup padrão é uma boa idéia.

Se você é uma loja da Microsoft e está qualificado para o licenciamento acadêmico, talvez seja melhor pesquisar no Data Protection Manager para substituir a antiga versão do BackupExec - ele forneceria recursos interessantes e uma boa integração com o software da Microsoft.

To reduce backup time/stress on the primary, I'd like to take the nightly backup from the mirror. But will copying to the mirror destroy the archive bit I need to get good differentials?

Sim, será. Mas os diferenciais são uma má ideia de qualquer maneira - você provavelmente não precisa deles. Faça backups completos em intervalos razoáveis e armazene-os fora do local. Sua estratégia de backup é primariamente para aliviar os efeitos de uma falha catastrófica - se ambos os sites de TI do campus forem destruídos ao mesmo tempo por um evento catastrófico, provavelmente não será muito importante se seus usuários perderem um dia ou cinco dias de dados - desde que não sejam perdidos todos os dados.

I'm looking at 44TB of raw disks space, but only exposing 4TB to my users after carving out RAID and backup space. Can I safely do better than that 11:1 ratio?

Depende dos seus requisitos de segurança e desempenho. Você provavelmente pode economizar o custo de uma configuração de RAID 10 no seu espelho de "backup" - desde que isso não sirva diretamente para os usuários, você pode usar uma configuração de distribuição com paridade menos dispendiosa e menos dispendiosa (RAID 5, 6). ou Z).

    

Answer 4

Na Nexenta, temos vários parceiros excelentes, como o Pogo Linux, que têm soluções que se ajustam ao seu orçamento. Tenha em mente que eles podem ajudá-lo a criar uma solução reduzida, que terá os recursos de expansão necessários para permitir que você aumente sua SAN conforme necessário. Se você escolher se construir, existe a opção NexentaStor Community Edition que, atualmente, é limitada a 12TB de capacidade de disco, o que se você usar deduplicação e compactação, quando apropriado, pode significar que você realmente terá muito mais dados nesses 12TB capacidade alocada. No entanto, você não poderá atualizar para a edição Enterprise comercial se decidir fazer isso mais tarde. Além disso, se você tiver uma solução não certificada, o suporte será sempre mais um problema do que uma solução de parceiro. Existem outras opções por aí, mas se você já tem familiaridade básica com o Linux ou melhor com Solaris ou Open Solaris, o NexentaStor pode ser uma excelente opção, já que o SO subjacente é robusto e compartilha muito com o OpenSolaris.