Meu palpite é que o diretório continha um grande número de arquivos no passado e o sistema de arquivos não trunca a entrada do diretório ao excluir arquivos.
Exemplo:
$ mkdir test_dir
$ du -h test_dir
2.0K test_dir
$ touch test_dir/file{001..500}-{01..10}
Agora temos um diretório com 5000 arquivos vazios.
$ du -h test_dir
102K test_dir
O tamanho vem exclusivamente das entradas de diretório dos arquivos vazios.
$ rm test_dir/file*
$ du -h test_dir
102K test_dir
O tamanho não diminui (neste sistema de arquivos), pois os arquivos são excluídos.