Você pode otimizar o diretório usando fsck.ext4 -D
em um sistema de arquivos desmontado:
-D Optimize directories in filesystem. This option causes e2fsck to try to optimize all directories, either by reindexing them if the filesystem supports directory indexing, or by sorting and compressing directories for smaller directories, or for filesys‐ tems using traditional linear directories.
A opção também é válida em ext3
e ext2
.
Por que isso não é feito na hora, não sei dizer. Talvez por problemas de desempenho?