É alto porque isso economiza esforço. É preciso esforço para tornar a memória livre. E se você fizer isso, basta esforço para usá-lo novamente. Assim, para economizar esforço, os sistemas operacionais modernos só libertam memória se não tiverem outra escolha.
Se você está pensando "Eu quero memória livre agora para que eu possa usá-lo mais tarde", banir esse pensamento da sua mente. A memória não precisa estar livre agora para usá-la mais tarde. Pode ser usado agora e também ser usado mais tarde. Então não há trato doloroso aqui. Usar memória é pura vitória.
Qualquer que seja o seu problema, o uso de memória alta não é isso. Isso é um sinal de um sistema que funciona normalmente.