Depende do tipo de sistema de arquivos underlaying usado, a maioria do sistema de arquivos não compacta os diretórios após uma exclusão.
Desmonte o sistema de arquivos e use e2fsck -D
para otimizar os diretórios.
Se esse problema ocorrer muitas vezes, você deve considerar usar um sistema de arquivos dedicado para esse diretório. Você deve usar um tipo de sistema de arquivos diferente, não sei qual deles compactará dinamicamente as entradas de diretório, o Btrfs por design é anunciado para não sofrer desse problema.