Eu não acho que haja uma maneira de limitar o espaço de troca, a menos que você modifica o programa para solicitar apenas memória não-swappable , que, mesmo que possível, provavelmente seria impraticável.
No entanto, o que você pode e deve fazer é limitar o total quantidade de memória disponível para o processo . Você pode usar cgroups (a nova maneira geral), ulimit ( setrlimit , da maneira tradicional), ou o timeout .