FS para muitos arquivos pequenos, a maioria lê?

Question

Eu preciso de uma direção, já que todos os blogs / bancos parecem contradizer.

Objetivo:

Ter muitos arquivos pequenos no FS em uma árvore de diretórios semelhante a este AB / CD / EF ... Dois grupos de tamanho: G1: 10-20 kB G2: 100-500kB

Eu preciso de um acesso muito rápido para servidores nginx.

Contraints

Excluir ou criar perf não é importante. Para um extremo, poderia demorar um minuto eu não me importo. Read / Access precisa ser rápido < - > nginx. Os arquivos são copiados para discos diferentes na sua criação, portanto, nenhum ataque envolvido. Apenas mercadoria. Criação de inodes dinâmicos ou similar. A confiabilidade não é uma preocupação importante, pois há duplicatas em três servidores diferentes.

Contexto e contradições

Eu li XFS combina servidores de e-mail de alta performance com muitos arquivos pequenos envolvidos. Outros dizem que o XFS é uma droga ao lidar com arquivos pequenos e o EXT4 é melhor.

E continua a contradizer toda a Internet.

Problema

Em geral, o problema é a alocação de inode. As grandes tabelas de inodes desperdiçam espaço. Defina-o muito fraco e você está condenado: apague e recrie a partição (de jeito nenhum pode acontecer).

Para mim, é uma armadilha que pode me impedir de adicionar novos arquivos, mesmo que o espaço ainda esteja disponível. É por isso que desejo mudar para outra coisa.

E devido à natureza altamente dinâmica e ao número imprevisível de arquivos, parece que estou preso. Daí a necessidade de sua opinião.

O btrfs é considerado não pronto para produção. Outros parece fora (confiabilidade)

Qual FS devo usar neste caso?

    

Answer 1

And it keeps contradicting all over Internet.

Mas você espera obter respostas consistentes aqui?

A única recomendação específica que eu gostaria de fazer é esquecer o ZFS - a menos que você esteja rodando no Solaris (onde faz um lote de sentido).

Além disso, como você configura seus discos, seu agendador de I / O e possui memória sobressalente para E / S de disco é muito mais importante que a escolha de FS - mas especificamente perguntou sobre FS. No entanto, você não fornece muitas informações sobre seus requisitos de resiliência: quão confiável é seu poder? Você precisa de recursos de instantâneos?

Embora eu seja um grande fã do Reiser e o execute há anos em meus servidores, eu não o usaria em um novo sistema - ele nunca foi adotado como parte do kernel do Linux, e o desenvolvimento está se esgotando.

Então, em uma caixa Linux, os candidatos restantes são XFS, JFS, Ext4 e BTRFS (também há o NILFS - mas isso é algo de uma ferramenta de nicho novamente, e IMHO novamente ruim no lado do desempenho).

Se você precisar usar o LVM (mesmo sem o instantâneo IME, há uma sobrecarga de desempenho significativa), verifique se você tem um release recente com suporte a barreiras - e ative barreiras se estiver usando um sistema de arquivos compatível.

Se o desempenho é sua única consideração, é hora de você começar a fazer benchmarking - eu recomendo usar o fio de Jens Axboe para medir o desempenho de leitura / gravação - ele é configurável para simular uma série de cargas de trabalho.

    

Answer 2

O ZFS e o XFS alocam inodes dinamicamente , portanto, atendem à necessidade. Eu não apostaria no ReiserFS.