A raiz dos seus problemas é que você está ficando sem memória virtual, isso está fazendo com que seu sistema trave muito antes de realmente ficar sem memória física disponível. Você precisa habilitar uma partição swap em seu sistema e você deve ver seus problemas de travamento desaparecerem.
Por favor, leia esta resposta de uma pergunta que estava tendo problemas semelhantes aos seus, mas no Windows, ela explica em detalhes porque você precisa de um arquivo de troca em um sistema operacional moderno.
Não executar o swap em um SSD só é verdade para os drives de primeira geração do início dos anos 2000. A vida útil do SSD moderno não tem nenhum problema com a execução de swap nele, na verdade, se você tiver a opção entre uma unidade de disco rígido giratória e um SSD colocando a troca no SSD, melhorará seu desempenho.