Sem arquivo de paginação ou com um arquivo de paginação muito pequeno, o sistema operacional não tem escolha a não ser manter todas as páginas sujas (que não refletem modificações permanentes de arquivo) na RAM. Isso significa que páginas limpas são despejadas brutalmente da RAM para dar espaço a todas essas páginas sujas. Como resultado, quando você retornar a um programa que não tenha sido executado há muito tempo, o código para esse programa não estará na memória, forçando o sistema operacional a carregá-lo. Isso causa um atraso e também força o despejo de páginas limpas de outros programas, iniciando o processo novamente.
Esta não é a única consequência negativa de não haver arquivo de paginação ou um arquivo de paginação muito pequeno. Mas é o que provavelmente está causando o comportamento que você está experimentando.
Além disso, você está incorreto que seu sistema operacional raramente está usando mais da metade de sua memória. Está quase sempre usando quase tudo isso. Não usar memória é um desperdício puro. Não é como você pode usar 6GB agora para que você possa usar 10GB depois. Qualquer memória não usada em um determinado momento é uma oportunidade perdida para sempre. Nenhum sistema operacional decente desperdiçaria tanta memória a menos que não tivesse absolutamente nenhuma escolha - e o Windows tem escolhas.