Estou criando um serviço onde precisarei armazenar uma tonelada de arquivos em um sistema de arquivos. Eu já ouvi no passado que é melhor separar arquivos por pasta ao lidar com grandes quantidades de arquivos. Isso é realmente preciso para sistemas de arquivos Linux modernos, como ext3, ext4 e btrfs? Se sim, quanto devo dividir os arquivos? Devo manter 1000 arquivos em uma pasta?
A configuração atual eu divido-os em centenas, milhares, dezenas de milhares e centenas de milhares da seguinte forma:
stream id: 123456
1/2/3/4/123456.file
stream id: 654321
6/5/4/3/654321.file
stream id: 5
0/0/0/0/5.file
Isso faz sentido para o meu aplicativo?
Você também deve considerar a quantidade de pastas que está criando.
Na questão relacionada, a regra geral parece ser de até 20k arquivos por diretório por motivos de desempenho:
Número máximo de arquivos em um diretório ext3 enquanto ainda obtém um desempenho aceitável?
Tags filesystems