O Linux por padrão já possui um "killer da OOM". Quando o seu sistema fica sem memória, o kernel mata um processo, tentando escolher o que quer que seja o culpado pelo sistema que está ficando sem memória. No entanto, se o seu sistema estiver configurado para usar uma troca, isso não acontecerá até que fique sem memória principal e espaço de troca. Se o dispositivo de troca estiver lento (por exemplo, um disco rígido giratório), isso pode não acontecer até bem depois que o sistema tiver diminuído o ritmo de um rastreamento e não responder.
Você pode tentar desativar o seu swap e ver se isso resulta em um processo com fome de memória sendo eliminado antes que o sistema fique inutilizável.