Você pode limitar a troca, a memória física ou as duas com cgroups
. A maneira mais primitiva é usar ulimit, mas hoje em dia os cgroups são padrão. (Eu não vou copiar e colar toda a documentação do cgroups)
Com cgroups, você também pode especificar o limite de uso da CPU e do disco de I / O por programa em uma hierarquia, para que você possa definir uma prioridade mais alta para suas tarefas importantes.