Opções para replicação unidirecional contínua de dezenas de milhões de arquivos no Windows Server?

Question

Temos um repositório de arquivos muito grande do Windows (vários terabytes e dezenas de milhões de arquivos) que quero manter na replicação contínua para outro servidor, o mais próximo possível do tempo real. Estou procurando opções em ferramentas que farão isso acontecer.

Até agora eu criei:

• Mova-o para um NAS ou SAN e compartilhe os arquivos . Não vai funcionar, não é uma opção para nós por pelo menos seis meses.
• Use o robocopy com / MON . Estou preocupado com o esgotamento dos recursos de origem de replicação, pois ele analisa toda a árvore a cada ciclo. (Embora / MON observe as alterações no arquivo antes de acionar um novo ciclo, cada execução executa uma varredura completa e não usa os dados de alteração do arquivo.)
• Rsync . Não é melhor que robocopy.
• DFS . Eu ouvi coisas muito ruins de pessoas no MS sobre o DFS para lojas com milhões de arquivos pequenos. Provavelmente metade dos nossos arquivos são muito pequenos.
• híbrido . Escreva minha própria ferramenta ou encontre uma on-line que use observadores de arquivos para segmentar quais arquivos precisam ser copiados. Embora o buffer possa transbordar, ainda execute um robocopy noturno para pegar qualquer coisa que tenha perdido.
• Baseado em backup . Algum tipo de backup / restauração de script maluco onde o software de backup pode fazer snapshots incrementais muito rápidos.

Qualquer ideia seria muito apreciada, obrigado!

    

Answer 1

Independentemente do que você usa, certifique-se de que ele use o diário de mudanças NTFS para que ele não esteja "pesquisando" efetivamente o filesytem. Um "robocopy / MON", por exemplo, não usa o diário de mudanças NTFS, de modo que acaba apenas "pesquisando" o sistema de arquivos.

Eu tenho um cliente usando o SureSync para replicar alguns milhões de arquivos grandes e pequenos (cerca de 1,5 TB) para um computador servidor de arquivos de "hot standby". Isso funciona bem para eles. Ele usa o diário de alterações do NTFS para acompanhar as alterações no volume. Ele suporta compactação delta e uso de uma interface de rede dedicada para comunicação entre servidores. (Eu não tenho nenhuma afiliação com a empresa; eu apenas gosto da ferramenta.)

    

Answer 2

Este é o primeiro que ouvi alguém dizer coisas negativas sobre o DFS-R. Nossa experiência só foi positiva.

Em qualquer caso, eu começaria experimentando o DFS-R, já que ele não requer nenhum hardware ou software adicional além das licenças do Windows que você já tem (supondo que você tenha edições Enterprise). Também é muito fácil de configurar.

O maior volume DFS-R que gerimos é de cerca de 200 GB e um pouco mais de 1 milhão de arquivos. Obviamente, isso é muito menor do que o que você tem, mas ainda é bastante considerável. Os conteúdos são principalmente pacotes de instalação de software (alguns dos quais contêm milhares de arquivos minúsculos). Costumávamos replicar essa loja com o NTFRS e não passávamos de problemas. Nós atualizamos para o DFS-R quando o 2003 R2 saiu e era uma diferença de dia e noite. Os servidores já foram atualizados para 2008 e ainda continuam funcionando sem falhas.

Você definitivamente desejará configurar seu volume de preparação em um conjunto diferente de fusos para desempenho e também terá que configurá-lo bem grande. Eu não sou realmente um especialista em detalhes específicos. Isso provavelmente depende de quão grande é o seu maior arquivo e quanta rotatividade existe regularmente. O pessoal do Microsoft PSS provavelmente forneceria um melhor conselho sobre isso.

Portanto, configure-o e veja se ele tem desempenho suficiente. Se isso não acontecer, tudo que você perdeu é algum tempo.