Um diretório começa em 4K, mas cresce à medida que precisa armazenar mais nomes de arquivos. Tenho certeza de que nunca diminui novamente, pois esses arquivos são excluídos. Algo chamado "cache" pode muito bem conter muitos arquivos, seja agora ou em algum momento no passado.
Como Stephen destacou nos comentários, uma vez que o seu diretório de cache cresce o suficiente para conter, digamos, 10 000 arquivos, então se esses arquivos forem deletados ele ainda tem espaço para armazenar 10 000 arquivos, então se novos 10.000 arquivos são criados, o diretório não vai crescer novamente.