O desempenho do NTFS se degrada significativamente em volumes maiores que cinco ou seis TB?

Question

Um dos meus clientes está planejando criar uma nova loja de documentos, que provavelmente crescerá de 1 a 2 TB por ano. Um dos meus colegas de trabalho diz que o desempenho do Windows é extremamente ruim se ele tiver um único volume NTFS maior que cinco ou seis TB. Ele acha que precisamos configurar o sistema com vários volumes para que nenhum volume ultrapasse esse limite.

Este é um problema real? O Windows ou o NTFS ficam mais lentos quando o tamanho do volume atinge vários terabytes? Ou é possível criar um único volume de 10 ou mais TB?

    

Answer 1

Eu já fiz 30TB antes. Eles mantinham arquivos grandes, o que ajuda muito a evitar a degradação do desempenho. Não há problemas lá contra volumes menores.

Onde os problemas podem começar a ocorrer é se aquele sistema de arquivos grande construir arquivos e diretórios suficientes para chegar aos grandes intervalos insanos. Estou falando de 20 milhões de arquivos e diretórios ou mais níveis. Nesse ponto, é provável que a MFT seja bastante fragmentada e em servidores restritos de RAM que possam começar a introduzir alguns problemas de desempenho de exibição de diretório. O acesso real aos arquivos não deve ser afetado, apenas as operações fileOpen () e de varredura de diretório.

É uma possibilidade real? Sim, mas o efeito também se aplica a sistemas de arquivos semelhantes em outras plataformas e pelo mesmo motivo. Além disso, as operações mais afetadas pela queda de desempenho podem nem ser aquelas com as quais você está preocupado. Como isso soa como uma nova configuração, não parece que você usará esses 10 TB em um servidor com apenas 1 GB de RAM, portanto não precisa se preocupar.

A origem do WinNT e do Win2K é a provável preocupação com o tamanho, quando as limitações do MBR tornaram grandes os volumes difíceis de criar. Tais precisavam de alguns truques para resolver tudo isso, e na época o truque tinha um custo. Isso ampliou a penalidade de desempenho de muitos pequenos arquivos . O GPT não tem esse problema. Os volumes da GPT foram os primeiros no Windows 2003, mas sua novidade significava que os administradores de sistemas não os usavam muito a princípio.

Atitudes antigas morrem com dificuldade, às vezes. Especialmente se houver trauma reforçando-os.

    

Answer 2

Nós temos alguns muito maiores do que isso (usando o W2K8) e não vimos nenhuma queda de desempenho perceptível.

    

Answer 3

É mais provável que você enfrente problemas de desempenho de hardware muito antes dos relacionados ao software.

Considere isso,

• Disco: discos verdes sata de 10x 1x podem superar 5x discos de 2 TB. Um dos motivos é que você terá mais filas de disco (DiskQueueLength) para usar com os discos samller. No entanto, mantenha seu sistema operacional em um volume separado mais rápido. A placa RAID e seu cache também trazem algumas considerações importantes sobre desempenho.
• RAM: também afeta o número e o tamanho dos arquivos que podem ser abertos (PagedPoolSize).
• NIC: afetará a quantidade de dados que podem ser gravados no / do servidor. Considere fazer com que seus backups sejam executados em um NIC separado. E use o agrupamento de adaptadores para combinar as duas NICs primárias para agir como uma.

Atualmente, tenho dois servidores. O volume é de 16 TB e 6 TB de arquivos / diretórios de dados de 5 milhões. No final do dia, 200 GB de dados foram alterados ou adicionados. Existem 100 usuários conectados ao servidor. E é claro que esses servidores replicam os dados em tempo real usando o DoubleTake. Ninguém reclama do desempenho do servidor.

Dito isto, também depende do que você deseja implementar. O MS DFS-R no Win2008R2, por exemplo, tem limites como 8 milhões de arquivos e 10 TB por servidor / volume como uma resposta oficial. Mas eu vi relatos de 20 + TB.

Você também pode ler tudo isso se quiser ... link