Este é o comportamento determinado pelo kernel. Quando o kernel fica sem memória, ele reage mal e mata o processo usando a maior quantidade de memória. Na área de trabalho, isso às vezes pode ser o xserver, outra má escolha para matar primeiro. Isso não deve acontecer com troca adequada.
Se a sua estratégia era ir sem um arquivo de troca, a fim de forçar o sistema operacional a usar RAM, sugiro que você tenha um arquivo de troca e use a configuração swappiness
para fazer o SO usar principalmente a RAM. Saiba como fazer isso aqui: Como configuro o swappiness?
10
é um valor agressivo típico para swappiness
. Descobri que com valores menores que 10, o sistema operacional parecia priorizar o descarregamento da troca sobre a execução real dos programas. Em outras palavras, quando fiquei sem memória, as coisas diminuíram imensamente. Então, talvez comece com 10, ou algo próximo, e veja como ele usa a RAM.