É apenas um problema se essa memória não estiver disponível para outras tarefas quando chamada. Só porque é usado agora não significa que não pode ser liberado rapidamente quando necessário, e de fato deixar a memória sem uso seria o verdadeiro desperdício.
Como uma nota lateral, esta é outra diferença na forma como o Windows e o Linux usam memória. Em um sistema linux, isso seria um pouco mais preocupante porque o swap é usado apenas como último recurso. Nada é trocado a menos que seja absolutamente necessário, e assim o Linux teria que gastar tempo para escrever a RAM usada na partição swap antes que ela pudesse ser recuperada para outros programas. O Windows, por outro lado, gosta de manter toda a RAM paginada o tempo todo. Dessa forma, se precisar usar RAM para usar em outro processo, ele já será paginado para o disco e, portanto, poderá ser recuperado muito mais rapidamente. É uma desvantagem - o Linux é mais rápido a esse respeito para RAM que nunca será paginado / trocado, e o Windows é mais rápido a esse respeito para aqueles momentos em que você precisa trocar rapidamente.
