Qual versão do Windows você está usando? No Windows 7, é comum que o sistema "armazene em cache" arquivos usados com freqüência no disco rígido. Isso torna mais rápido ler o arquivo quando ele precisa, já que ele não precisa ir ao disco para obter os arquivos. Vá para a guia "Desempenho" no gerenciador de tarefas e examine a seção "Memória física". Deve mostrar números para Total, em cache, disponível e livre. Se houver muita memória em cache sendo usada, tudo bem, pois o Windows irá liberá-la conforme necessário, mas somente quando um programa solicitar a necessidade dessa memória.
Meu gerenciador de tarefas mostra que estou usando mais de 40% dos meus 4 GB de memória, embora eu tenha apenas o FireFox aberto, que usa apenas 200 MB. Isso ocorre porque o resto está indo para arquivos em cache. Isso não é nada para se preocupar e é completamente normal.