" ... a questão não é sobre como consertar, é sobre entender o que está acontecendo aqui .... "
Meu palpite é que você está sofrendo de uma corrupção (grave?) do sistema de arquivos e ... quanto mais arquivos forem (virtualmente?) criados e removidos, mais grave será a corrupção.
Estou dizendo isso porque:
-
você escreveu " ... Alguns minutos [...] mais tarde, 9,1 milhões de arquivos apareceram no mesmo diretório ... ". Vamos supor que com "alguns minutos" você pretendia 15 minutos. Isso significa que aproximadamente 10 mil arquivos são criados por segundo . Mesmo que seu servidor / armazenamento possa lidar com essa carga, é difícil acreditar que enquanto esse processo de criação está sendo executado não há nenhum nenhum sinal dessa atividade! Então, pelo menos, o duplo fato de que:
- 10K arquivos por segundo são criados (em um intervalo de tempo de 15 minutos);
- você não está percebendo nenhuma carga / comportamento estranho do seu sistema
deixe-me pensar que ... o processo de criação é "falso" e, como tal, você tem problemas de integridade do sistema de arquivos;
-
até mesmo a mensagem " ext3_dx_add_entry: Índice do diretório cheio! " deixe-me pensar que em tal cenário não deve ser possível criar arquivos adicionais dentro do sistema de arquivos relacionado (BTW: como mencionado por @Stefan, comentando seu OP), você parece ser capaz de efetivamente criar arquivos adicionais. Isso é novamente - IMHO - outro fato que chama a atenção. Como mitigação parcial, a palavra " warning " (... e não "error") nas mensagens de log (aviso EXT3-fs) .... me faz pensar que até mesmo desenvolvedores de kernel esperavam que tal situação não é tão "crítica" (... eles acham que é um aviso ... e não um erro. Então não deveria ser algo tão ... terrível!);
Além do acima, eu também encontrei este outro post do SF confirmando que, pelo menos, é essa situação específica, o problema era um problema de integridade do sistema de arquivos.
Quanto à parte final de sua pergunta (aquela relacionada à hipótese de "caching"), mesmo que eu não seja um hacker do kernel, eu acredito strongmente que isso é não um comportamento do kernel, uma vez que estaria fora do escopo do kernel, sendo algo a ser abordado pelo módulo cruzado (não sendo possível implementar lidando apenas com o módulo ext3). Mas, por favor, não me culpe se esta última frase estiver absolutamente errada! É apenas o meu "sentimento": -)