Eu acredito que o cache do sistema libera sua memória quando necessário, mas falhas podem acontecer. Abaixo estão listadas algumas possibilidades.
Seu sistema de 64 bits aloca a memória de vídeo nos primeiros 4 GB de memória. Portanto, se a sua placa de vídeo tiver muita memória, essa memória será perdida, conforme descrito em: A memória utilizável pode ser menor que a memória instalada em computadores baseados no Windows 7
Você pode examinar o uso da memória no computador abrindo o Gerenciador de dispositivos e, no menu Exibir, escolha "Recursos por conexão". Expanda o nó Memória e veja se consegue descobrir o que está ocupando a memória. Em alguns casos, a memória pode ser aumentada pela desativação de dispositivos não utilizados, como firewire.
Você também pode tentar fazer exatamente o oposto do que é descrito neste artigo:
Você também pode tentar Desativar o SuperFetch do Windows 7 .
Se nada ajudar, seria útil publicar uma captura de tela da guia Gerenciador de tarefas chamada Desempenho.