Recomendação do sistema de arquivos para armazenamento de arquivos de 5 TB

Question

Eu tenho um sistema RAID6 de 5 TB conectado localmente (IBM DS3512). Ele será usado como um armazenamento para arquivos de dados grandes que são gravados em gravações sequenciais e depois lidos de volta para processamento. Eventualmente, os dados são excluídos.

A passagem de diretório não é importante, pois temos nosso próprio serviço de indexação.

Como esse é um sistema on-line, a disponibilidade e a resiliência da corrupção são importantes, assim como o tempo de reconstrução rápido.

O XFS tem vantagens específicas sobre o EXT4 nesse contexto?

Além disso, como eu faria para ajustar o sistema de arquivos?

O sistema de destino executa o RHEL 6.3.

    

Answer 1

Eu usaria o padrão ext4, mesmo que ele mostrasse, na prática, que pode levar uma surra e, em caso de problemas, provavelmente haverá muito mais conhecimento disponível.

Ah, e antes de desejar boa sorte para você, não acredite em que quadrados coloridos com partes faltantes lhe dizem em sites da Internet aleatórios . Eles podem estar fazendo besteiras, não, eles estão dizendo coisas sem sentido, a não ser que eles saibam o seu problema e se estabeleçam intimamente. Configure uma experiência com dados e carga de trabalho realísticos e meça. Veja se a diferença realmente importa, procure outras entradas. Verifique o que seu sistema operacional vedor recomenda.

Ah, e boa sorte! Por favor, adicione uma resposta (ou um comentário) com suas análises e conclusões aqui ou contribua para a documentação de sua distribuição. Pode até pensar em escrever um artigo para o LWN ...

    

Answer 2

Acho que o XFS pode ser bem ajustado para essa finalidade. Ele armazena em cache de forma agressiva, manipula arquivos grandes, trabalha com grandes quantidades de arquivos e diretórios e é resiliente.

Em um sistema RHEL 6.x, você vai querer empregar o tuned-adm framework e influenciá-lo para o características de desempenho pretendidas da sua aplicação.

Com base na sua descrição, faz sentido considerar o desempenho da taxa de transferência tuned profile.

Nota:
Há um pequeno erro relacionado à carga que afeta o XFS em novembro de 2012 e os novos kernels EL6. .. Existe também um recurso exclusivo de otimização que agora é padrão na versão XFS do kernel.

Como grande defensor do XFS na última década, mudei muitas instalações para o ZFS no Linux como um substituto, especialmente para grandes sistemas de arquivos.