Você está confundindo a memória virtual com a memória física. O pop-up "out of memory" está relatando uma falta de memória virtual . Você pode ter muita memória física livre e ainda ter uma falta de memória virtual. A solução usual é configurar um arquivo de paginação maior.
Para usar uma analogia simplificada, a memória física é como dinheiro no banco, a memória virtual é como o saldo do seu talão de cheques. Você pode ter muito dinheiro no banco, mas se o saldo do seu talão de cheques estiver baixo, você não poderá mais fazer cheques com segurança.
Um arquivo de paginação é como uma linha de crédito que você pode usar para cobrir cheques se ficar com pouco dinheiro no banco. Com uma linha de crédito, você pode continuar fazendo cheques, mesmo que o saldo do seu talão de cheques seja baixo. O arquivo de paginação pode cobrir uma "execução no banco de memória" no caso improvável de que todas as verificações pendentes sejam descontadas de uma só vez.
O arquivo de paginação permite que o sistema operacional continue permitindo alocações de memória virtual, mesmo que o sistema operacional nunca precise usá-lo. Ele garante que, se todas as alocações pendentes de memória virtual exigirem memória física de uma só vez, o sistema operacional não será forçado a quebrar as promessas que já fez.