Você não pode, por vários motivos.
A primeira é que o tamanho de um diretório aumenta, mas não diminui (na maioria dos sistemas de arquivos, de qualquer forma). Tente isto:
mkdir testdir && cd testdir
touch {1..100000}
rm {1..100000}
ls -ld ../testdir
Isso produzirá um diretório razoavelmente grande (nada como o seu, mas isso é irrelevante aqui) sem arquivos ...
O segundo é que, na maioria dos casos, os registros de arquivos dentro de uma entrada de diretório são variáveis em tamanho, dependendo do nome do arquivo. Veja, por exemplo, o layout do disco ext4 .
O terceiro é que o diretório pode nem ser linear, o que complica ainda mais as coisas.
A quarta é que o tamanho de um diretório é um múltiplo do tamanho do bloco, portanto, um diretório com um arquivo e um diretório com vinte normalmente terá o mesmo tamanho.