DFS-R ou WAFS para sincronização de arquivos de 1 TB entre sites remotos

Question

Temos 1 TB de arquivos que queremos manter em sincronia entre três locais. Esses dados consistem em cerca de 1,5 milhão de arquivos que crescem / mudam a uma média de 100MB / dia.

O primeiro local é um escritório de Queensland que tem uma sincronização ADSL2 + dedicada a 20000 / 1024kbps conectada a um servidor co-localizado em um data center em um link de 10MB. O site remoto é um escritório na Argentina que está em um link SDSL 512/512 desprezível. Isso pode ser atualizado para um máximo de 2Mb SHDSL.

A estrutura que queremos é: Escritório de QLD < - > Centro de dados QLD (apenas para backup externo) < - > Escritório da Argentina

Eu fiz alguns testes de velocidade no speedtest.net no escritório do QLD e no escritório da Argentina:

Velocidade de upload do escritório do QLD: 0.95Mb / s

Velocidade de upload do escritório da Argentina: 0,51Mb / s para o servidor local, 0,38Mb / s para o servidor QLD: (

Não podemos usar o software de sincronização padrão (rsync, viceversa etc) para manter esses dados sincronizados, pois as diferenças de fuso horário tornam isso realmente complexo, por isso estamos considerando uma solução de sistema de arquivos distribuídos.

Estamos tentando descobrir o que é mais viável - usando o Microsoft DFS-R com servidores Windows 2008 ou um provedor WAFS de terceiros, como GlobalScape WAFS .

Estou tentando encontrar uma solução que faça o seguinte:

1. A capacidade de preencher inicialmente os arquivos postando um disco rígido externo nos sites remotos, etc.
2. A capacidade de preencher manualmente após a configuração - ou seja, se precisarmos adicionar 200 GB de arquivos, poderemos postar a unidade novamente com esses dados e adicioná-los manualmente a todos os sites
3. A capacidade de contabilizar adequadamente a grande diferença de fuso horário dos sites remotos
4. Disponibilidade offline de arquivos - ou seja, se as conexões com a Internet estiverem inativas, ainda podemos ver / editar arquivos
5. Compactação Delta Sync ou compactação de arquivos - muitos dos arquivos em que trabalhamos são arquivos ascii grandes, que são facilmente compactados com uma grande proporção, para que a compactação seja agradável.
6. O bloqueio de arquivos seria bom, mas não é essencial, pois os arquivos estão em fusos horários diferentes
7. A capacidade de fazer todos os itens acima com os links de Internet lentos, conforme descrito.

Eu observei o GlobalScape WAFS, que parece promissor porque, diferentemente da maioria dos DFS, você pode apontar onde os arquivos estão localizados, em vez de copiá-los no compartilhamento, mas com uma cotação de $ 10kUSD para 3 agentes apenas para o software perguntando se existem soluções melhores.

O Microsoft DFS-R também parece bom, mas não consigo encontrar muita informação sobre como lidar com esses muitos arquivos em um link muito lento.

Qualquer sugestão / direção para me indicar seria muito apreciada

    

Answer 1

Atualmente, usamos o Server 2008 DFSR para transferir 900 GB de arquivos, com cerca de 3 GB mudando diariamente. Nossa topologia é um hub único, com 3 spokes. Cada spoke está em uma conexão ADSL de 4Mb / 1Mb, separada por aproximadamente 300-500KM. Nosso site de hub tem uma conexão de 10Mb / 10Mb.

Além da falta de bloqueio de arquivos, após alguns problemas iniciais de configuração, o DFSR tem funcionado sem problemas, e estamos muito satisfeitos com isso. Eu recomendo usar o Server 2008 ou Server 2008 R2 para DFSR, pois existem MUITOS aprimoramentos que ajudarão com seus links lentos.

Em resposta às suas perguntas:

1. Você pode pré-semear os dados usando um disco rígido externo no site remoto para reduzir a replicação inicial.
2. Tenho certeza de que você não pode adicionar informações adicionais em um formato pré-semente (seu exemplo de 200 GB), pois assim que a replicação inicial é feita, ela se torna uma topologia de vários mestres.
3. O fuso horário não deve ter nenhum efeito, especialmente se você não estiver modificando os agendamentos de replicação padrão.
4. Acesso off-line - Uma cópia local é armazenada em cada servidor spoke, portanto, você terá acesso a ela se a WAN estiver inativa. Quando a WAN voltar, a replicação continuará.
5. O DFSR usa o RDC e apenas replica as alterações, portanto, você verá uma grande redução nos tamanhos de transferência. Nossa replicação atual informa uma economia de 57,88%, com 74,36 GB recebidos de um tamanho real real de 176,55 GB. Isso ocorre desde a última reinicialização do serviço.
6. O bloqueio de arquivos não é suportado no DFSR, no entanto, os conflitos podem ser monitorados por meio dos logs de eventos.
7. Embora não seja ideal, ele deve funcionar com seus links lentos, pois temos links semelhantes.

Eu não recomendaria o Globalscape WAFS, baseado no último comentário (meu) neste post: link Talvez o produto tenha mudado desde então, mas faz apenas alguns meses.

    

Answer 2

com o dfsr faça o seguinte para pré-estágio no link

o bloqueio de arquivos não acontecerá com links muito lentos com qualquer um dos processos. Também olhe para steeleye para um esquema de replicação mais barato se você não usar o dfsr!

    

Answer 3

Você pode querer examinar o Peer Software. www.peersoftware.com. Suas soluções fornecem o que você procura de forma exótica, são mais robustas do que os produtos da Global Scape e são menos dispendiosas.

    

Answer 4

Em relação ao Globalscape WAFS, algumas coisas que aprendi:

1. Embora não esteja documentado, o suporte deles dizia para manter os trabalhos de replicação abaixo de 250 GB e abaixo de 300.000 arquivos. Você pode ter até 60 trabalhos por agente.
2. O software é atualmente apenas de 32 bits, o que causa as limitações mencionadas acima, porque o sistema pode manter apenas 2 GB de valor de seu arquivo de índice na memória. Se fosse de 64 bits, seria muito maior.
3. O software parece ser de encadeamento único, o que significa que ele só aproveitará um único núcleo da CPU. O software fica com CPU intensiva às vezes, e seria muito benéfico se pudesse aproveitar vários núcleos de CPU.