As imagens só demoram na primeira vez que são colocadas em cache para miniaturas.
O cache aumenta à medida que mais fotos são carregadas.
Você não pode definir o tamanho do cache.
Você pode ver o cache atualmente ocupado selecionando Disk Cleanup...
para a unidade C. (ou a unidade em que você instalou o Windows)
Após cerca de 7000 imagens terem sido armazenadas em cache, o Windows 7 pára o armazenamento em cache de novas imagens.
Você pode resolver isso excluindo o cache de miniaturas usando Disk Cleanup...
Se o seu problema é que o cache de miniaturas está sendo excluído e recriado aleatoriamente, dê uma olhada em Cache de miniaturas que exclui e recria aleatoriamente