Devo me preocupar com o número máximo de arquivos em uma pasta nos sistemas de arquivos * NIX?

Question

Em um projeto de rede social, queremos armazenar os avatares do usuário em uma pasta. Eu acho que em um ano ou dois, chegará a 140K (já vi esse problema antes e será em torno desse número). Eu quero espalhar arquivos em pastas. Se uma pasta contiver 1000 arquivos, crie outra pasta e armazene os arquivos de 1001 a 2000. Essa é uma boa abordagem ou eu sou muito cauteloso sobre o problema? ( Sistema de arquivos: EXT3 )

    

Answer 1

Com o passar do tempo, o ext3 não é uma opção estelar para diretórios que contêm um grande número de arquivos, mesmo que tenha ganhado índices de diretório e outros recursos. Isso se aplica especialmente se o diretório tiver muita atividade de gravação, além da atividade de leitura freqüente, ou se os arquivos desse diretório forem fornecidos pelo NFS / Samba.

Em geral, seria melhor projetar para hash os arquivos em subdiretórios de alguma forma, como

a/apple.png
b/banana.png
c/cow.png

ou

a/ap/apple.png
b/ba/banana.png
c/co/cow.png

A sugestão que você fez (depois que alguns arquivos em um diretório criam um outro diretório) também é boa.

    

Answer 2

Veja Indexação de diretório em Recursos encontrados no Linux 2.6 . Menciona diretórios com mais de 16 milhões de arquivos. Deve ser o suficiente por um tempo.