Isso pode funcionar. Eu nunca usei, é apenas o primeiro hit do Google para "navegador de cache firefox".
(Note que ferramentas como essa fazem sentido se o recurso de visualização do navegador da sua pasta depender das extensões de arquivo. Por exemplo, Nautilus ou Konqueror mostram visualizações de quaisquer arquivos que sejam imagens (determinadas diretamente do cabeçalho do arquivo), independentemente de seus nomes ou extensões são (não tenho certeza se elas estão facilmente disponíveis para o Windows).)