Eu diminuiria a quantidade de espaço de troca disponível. Instalações típicas nos dias de hoje tentam alocar tanta troca quanto a memória física (ou às vezes o dobro). O problema com isso é que quando algo dá errado, o sistema entra em uma espiral da tentativa de "embaralhar" coisas da memória para o disco, e de volta, e ele começa a fazer para muito de que não tem tempo para responder à entrada do usuário.
Nos bons tempos, processos inteiros foram trocados para disco (e para trás), portanto, grandes trocas eram necessárias.
Nos sistemas de memória virtual modernos, a memória é trocada em blocos (em vez de processos inteiros), para que você possa obter com trocas menores. Em seu cenário, seria melhor ter processos mortos, portanto, executar com swap menor fará com que o OOM inicie a finalização de processos mais rapidamente (em vez de fazer com que o sistema gaste muito tempo trocando dados de / para o disco).