Sistema de arquivos para muitos arquivos pequenos

Question

Estou usando o dispositivo NetApp como armazenamento NAS. Eu tenho um monte de pequenos arquivos (30-60k) e dirs. Por exemplo eu tenho: 30000 dirs com outro dirs 1000-2000.

Muitos dirs estão vazios, mas a maioria deles tem muitos arquivos (30k).

Devo alterar o tamanho do bloco no Ext3?

    

Answer 1

Se você estiver usando a NetApp como um NAS, ou seja, usando protocolos NAS como NFS, CIFS / SMB, http etc., você não conseguirá escolher o sistema de arquivos, ele usará o sistema de arquivos WAFL da NetApp, você pode t mudar isso.

Se você estiver usando a NetApp para fornecer compartilhamento em nível de bloco, como iSCSI / Fibre-Channel / FCoE, é irrelevante que esteja em um NetApp - você pode assumir que está no disco local para todas as intenções. Nesse caso, use nossa função de pesquisa, pois esse tipo de pergunta já foi feito muitas vezes.

    

Answer 2

Com base nos seus requisitos, recomendo o ReiserFS. Os benchmarks mostram que o ReiserFS funciona de maneira ideal com um grande número de arquivos pequenos em comparação com outros sistemas de arquivos. O ext3 está longe de ser ideal para o seu cenário, mesmo com um tamanho de bloco menor.

No entanto, como já foi mencionado em uma das outras respostas, se você estiver usando um protocolo NAS, provavelmente não conseguirá escolher o sistema de arquivos. Se você estiver usando-o como um dispositivo de bloco, dê uma olhada no seguinte extrato da Primer do sistema de arquivos Linux :

EXT2

• Recomendado para ir para EXT3
• Não registrado no diário
• controle de acesso POSIX

EXT3

• Sistema de arquivos Linux mais popular, escalabilidade limitada em tamanho e número de arquivos
• Registrado no diário
• controle de acesso estendido POSIX

JFS

• Alto desempenho e escalabilidade
• Registrado no diário
• controles de acesso estendido POSIX

ReiserFS

• Melhor desempenho e escalabilidade quando o número de arquivos é ótimo e / ou os arquivos são pequenos
• Registrado no diário
• controles de acesso estendido POSIX

XFS

• Melhor para sistemas de arquivos extremamente grandes, arquivos grandes e muitos arquivos
• Registrado no diário (uma versão do sistema de arquivos em cluster paralelo assimétrico também está disponível)
• controles de acesso estendido POSIX