Se você não quiser que sua memória RAM seja usada, retire-a da máquina e coloque-a na prateleira. Não é como se você usa apenas metade da sua memória RAM hoje, você pode usar o dobro amanhã. RAM não utilizada é um desperdício de RAM.
Concentre-se no seu problema real, seja ele qual for. RAM sendo usado é uma coisa boa - é para isso que serve. O motivo pelo qual você adiciona muita RAM a uma máquina é para que a máquina possa usá-la. A RAM que não é usada não é melhor que a RAM que não existe.
Se a sua máquina estivesse usando menos RAM, ela teria um desempenho pior, pois precisaria carregar mais informações de fontes mais lentas, como o disco rígido.