A memória está lá para ser usada. Se a memória não for usada pelos aplicativos, ela será usada pelo sistema para armazenamento em cache, como leituras e gravações de disco. A memória não utilizada é uma perda de memória.
Desde que a troca não seja usada, sua memória não está sob estresse.