O único efeito colateral que você pode ver é que o Windows levaria mais tempo para processar as visualizações de arquivos de mídia em uma pasta devido aos caches ausentes.
Na verdade, o Windows inclui até mesmo um recurso para desativar o armazenamento em cache.
Veja este artigo para mais detalhes
Do artigo acima, eu também gostaria de destacar que diferentes versões do Windows armazenam os caches em locais diferentes. Observe também que o Windows trata as unidades de rede de maneira diferente das unidades locais.