Você está tentando algo que simplesmente não é possível. Se você deixar o sistema rodar perto da exaustão, sempre haverá a possibilidade de um processo ser morto devido à exaustão da memória. Existem muitos cenários que não podem ser evitados, mas o mais fácil de entender é uma falha de página causada por um processo que adiciona uma página à sua pilha.
Você precisa de swap ou uma almofada de memória RAM se quiser evitar a morte.