Quando você ficar sem memória física, o sistema iniciará a remoção de algumas páginas de memória acessadas menos recentemente para a partição de troca. Normalmente, cabe ao kernel selecionar quais páginas são essas. Eles podem não ser suas páginas, mas sim pertencer a outro processo que não é usado há algum tempo.
Se você quiser se intrometer, pode usar o madvise (2) syscall para informar seu kernel sobre o seu estratégias de uso de memória para que possa se adaptar adequadamente.