Limitações do Windows DFS

Question

Até agora, vi um artigo sobre desempenho e escalabilidade focando principalmente em quanto tempo leva para adicionar novos links. Mas há alguma informação sobre limitações em relação ao número de arquivos, número de pastas, tamanho total, etc?

Neste momento, tenho um único servidor de arquivos com milhões de JPGs (aproximadamente 45 TB de valor) que são compartilhados na rede por meio de vários compartilhamentos de arquivos padrão. Eu pretendo criar um namespace DFS e replicar todas essas imagens para outro servidor para fins de alta disponibilidade. Encontrarei problemas extras com o DFS que, de outra forma, não estou tendo nos compartilhamentos de arquivos do plain-jane? Existe uma maneira mais recomendada de replicar esses milhões de arquivos e disponibilizá-los na rede?

EDIT 2:

Todos os arquivos são geralmente gravados no disco uma vez e nunca modificados depois disso. A única vez que eles são modificados é quando eles são eventualmente excluídos, possivelmente anos depois. Então tudo é bastante estático.

EDITAR:

Eu experimentaria por conta própria e escreveria um post sobre isso, mas ainda não tenho o hardware para o segundo servidor. Gostaria de coletar informações antes de comprar 45 TB de espaço no disco rígido ...

    

Answer 1

No momento, estamos usando o 2008 R2 DFSR com 57 TB de arquivos replicados (1,6 Milhões) e temos um volume geral superior a 90 TB, sem nenhum problema.
Então, os limites testados pelo MS são um pouco ingênuos a esse respeito, e eles devem comprar mais espaço em disco e fazer mais alguns testes. Se você não for crítico na sincronização inicial, o DFSR também pode fazer isso. O que não gosta, especialmente, é o mesmo arquivo que está sendo modificado em vários hosts, pois ele tem que fazer a arbitragem sobre a qual manter.

    

Answer 2

Com 45 TB de dados, você está acima das limitações testadas do DFS-R no Server 2008, conforme:

DFS-R: FAQ

Tamanho de todos os arquivos replicados em um servidor: 10 terabytes.

Número de arquivos replicados em um volume: 8 milhões.

Tamanho máximo do arquivo: 64 gigabytes.

Editar:

Se os seus arquivos provavelmente nunca serão alterados, você poderá utilizar a parte de namespace do DFS para criar um caminho virtualizado para o seu compartilhamento. Você pode então executar o robocopy em uma tarefa agendada para sincronizar seus servidores. Você precisaria usar algo como o robocopy para sua sincronização inicial, mesmo se fosse usar o DFS-R.

    

Answer 3

"Existe uma maneira mais recomendada de replicar esses milhões de arquivos e disponibilizá-los na rede?" Sim - um dispositivo SAN ou NAS para centralizá-los, ou armazenamento distribuído como Isilon, Gluster, etc. O DFS é bom, mas significa que cada servidor tem uma cópia completa de tudo, então essa não é uma boa arquitetura se você precisar escalar muito maior.

Além disso, sua arquitetura pode ter dificuldade de dimensionamento de qualquer maneira. Vi alguns grandes sistemas de imagens que não são armazenados como arquivos - eles têm um banco de dados que armazena os metadados e os byte offsets das imagens e os transforma em grandes arquivos binários que são distribuídos de uma maneira fácil disco e sistema de arquivos. Precisa de uma imagem, e ele procurará o arquivo blob e extrairá a imagem dele com o byte inicial e final.