Acho que a verdadeira questão é se o sistema está constantemente trocando memória.
Um processo ativo, por si só, pode não trocar muito, enquanto o sistema troca outros processos e dados para liberar espaço para isso.
O vmstat é uma ótima ferramenta para analisar estatística de memória virtual.
qdot@valentha ~ $ vmstat
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
3 0 0 5055564 1244 1651244 0 0 291 149 383 750 6 2 87 5