Honestamente, desde que você não tenha um desempenho ruim, não se preocupe.
Ultimamente, muitos produtos estão sendo usados no gerenciamento de memória do Linux, que não libera a memória no que diz respeito ao monitoramento porque os dados são armazenados em cache, prontos para serem acessados muito mais rapidamente na próxima vez que forem necessários. O Linux gerencia a memória para que, se um processo precisar de mais, ele seja alocado adequadamente, limpando o cache quando necessário.
Então, basicamente, se você não tem muita atividade de swap, tudo é bom.