Não há nada para resolver. A memória livre é sempre desperdiçada. Não é como se você só usasse 6GB de RAM agora, você pode usar 10GB de RAM depois. Se você quiser que o sistema não use RAM, retire-o da máquina.
Se o seu problema é um desempenho ruim, a última coisa que você quer é usar menos memória RAM. Nós adicionamos RAM para melhorar o desempenho, para que o sistema possa usar mais RAM. Se o uso de menos RAM tornasse o sistema mais rápido, removeríamos >> RAM para aumentar o desempenho.
RAM grátis, já que não está fazendo nada, não afeta o desempenho.