Mova tudo no diretório para outro diretório. Remova o diretório original. Recrie o diretório original. Mova tudo de volta.
Você está usando um sistema de arquivos que não pode diminuir os diretórios.
Sempre há e2fsck -D
que otimizará todos os diretórios no sistema de arquivos.