O arquivo de ponto, como todo diretório, contém uma lista de nomes para os arquivos neste diretório e seus números de inode. Portanto, se você já tiver muitos arquivos nesse diretório (não é improvável que um diretório "tmp") faça com que a entrada do diretório cresça para esse tamanho.
Após os arquivos desaparecerem, o sistema de arquivos não reduz automaticamente o arquivo de diretório novamente.
Você mesmo pode experimentar isso fazendo um novo diretório vazio, faça ls -la nele para ver o tamanho inicial (4096 na minha máquina) e tocar em vários arquivos, o que aumentará o tamanho do diretório.
(Sim, eu sei que estou ignorando / sendo impreciso sobre muitos detalhes aqui. Mas o OP não pediu uma explicação completa de como os sistemas de arquivos EXT * funcionam.)