Isso está perfeitamente bem. A memória adicional usada ao longo do tempo é devido ao armazenamento em cache de disco. Se a memória for necessária para outra coisa, o cache de disco irá "devolver". Eu acho que não há problemas de desempenho perceptíveis?
Você pode ver quanta memória é "realmente" usada olhando para a linha que começa com
-/+ buffers/cache: