Por que a árvore de índice de diretório é excluída?

Question

Hoje eu escrevi um script que percorre uma pasta com arquivos de 2,5m. O primeiro problema foi que a iteração demorou muito, porque o índice do diretório precisa ser criado primeiro. depois do build inicial, ele deve ser armazenado ao lado da pasta, para que as iterações sejam mais rápidas.

esse comportamento pode ser visto como:

• enquanto o desenvolvimento estava em andamento, o script acabou de ser desativado.
• se você parou o script e o reiniciou, o tamanho da memória foi definido imediatamente para o valor da execução anterior (portanto, se você tivesse índices de 400MB, você começaria de lá e não de 0)
• depois que todo o índice foi criado, mesmo depois de um reinício, o diretório poderia ser iterado em segundos, e não em horas.

Mais informações sobre a Árvore de índices do diretório podem ser encontradas aqui: link

Mas agora há um problema: Depois de excluir vários arquivos, a indexação é iniciada novamente. Então, de alguma forma, a árvore de índices não é reorganizada, mas sim deletada e nova. Existe algum limite de tempo após a Árvore ser invalidada ou é apenas o tamanho da árvore?

Existe alguma maneira de acelerar o acesso a grandes estruturas de pastas, forçando a manter a árvore sempre no sistema de arquivos?