Se você tiver um grande número de arquivos nesse diretório e o conteúdo do diretório mudar constantemente, a própria entrada de diretório será fragmentada ao longo do tempo. Então, quando o sistema operacional estiver lendo o conteúdo do diretório, haverá muitas e muitas buscas desnecessárias em disco. Isso acontece especialmente com sistemas de arquivos ext * (o ext4 pode ser melhor) e os sistemas de arquivos antigos do ReiserFS v3.x (se tiverem passado de 85% do total).
A solução é bem fácil:
cp -pr origdir newdir
mv origdir origdir.bak
mv newdir origdir
É claro que se tudo estiver armazenado em cache na RAM, isso não importa muito; geralmente o Linux armazena em cache arquivos e diretórios acessados de maneira bastante agressiva. Se você realmente deseja manter o conteúdo desses diretórios na RAM, você pode colocar algo como ls -lah /your/dir 2>&1 >/dev/null em seu cron.
EDIT: Ah, uma coisa surgiu em minha mente. Se o seu servidor tiver um controlador RAID com backup de bateria com algum cache, verifique se a bateria está OK. Eu vi situações em que a bateria está morta e o controlador desabilita o cache completamente, arruinando muito o desempenho. Por exemplo, os servidores da HP podem informar nos logs do iLO algo sobre a bateria do controlador; no painel de controle de integridade do servidor, tudo parece estar bem e verde, mas somente a entrada de log informará sobre isso.