Eu também lutei com essa questão. Eu só quero que meu sistema permaneça responsivo, não importa o quê, e eu prefiro perder processos para esperar alguns minutos. Parece não haver nenhuma maneira de conseguir isso usando o kernel oom killer.
No entanto, no espaço do usuário, podemos fazer o que quisermos. Então eu escrevi o Daemon Early OOM ( link ) que matará o maior processo (por RSS) quando a RAM disponível ficar abaixo de 10%.
Sem o earlyoom, foi fácil bloquear minha máquina (8 GB de RAM) iniciando link algumas vezes. Agora, as guias culpadas do navegador são mortas antes que as coisas saiam do controle.