Ajudaria se você incluísse um trecho de sua saída de ps. No entanto, se você está falando sobre coisas como esta:
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.0 35028 4416 ? Ss Nov05 0:07 /sbin/init
root 2 0.0 0.0 0 0 ? S Nov05 0:00 [kthreadd]
root 3 0.0 0.0 0 0 ? S Nov05 2:43 [ksoftirqd/0]
root 5 0.0 0.0 0 0 ? S< Nov05 0:00 [kworker/0:0H]
root 8 0.4 0.0 0 0 ? S Nov05 73:44 [rcu_preempt]
root 9 0.0 0.0 0 0 ? S Nov05 0:00 [rcu_sched]
root 10 0.0 0.0 0 0 ? S Nov05 0:00 [rcu_bh]
...
Então, qualquer coisa entre colchetes é na verdade um segmento do kernel. A maneira de fazer isso é escrever um lkm, mas provavelmente não é o que você quer fazer. Eu acho que a outra coisa que você poderia fazer para baixar o RSS seria escrever um daemon de nível de usuário que apenas dorme e, consequentemente, eventualmente será paginado. O VSZ ainda será diferente de zero.