Não há absolutamente nada de errado, seu sistema está simplesmente armazenando dados em cache. Os dados armazenados em cache são automaticamente deslocados conforme os aplicativos alocam memória. Além disso, o cache é o melhor uso possível para a memória "ociosa".