Claro que sim, a Memória Virtual (conhecida como Swap no Linux) será usada menos quando houver memória suficiente.
Existe um parâmetro do kernel chamado swappiness
que controla a quantidade de swap que provavelmente será usada. Sintonize as suas necessidades. Para ver o valor atual (todos os comandos precisam de root):
cat /proc/sys/vm/swappiness
e para definir o valor
sysctl vm.swappiness=10
e para persistir, abra /etc/sysctl.conf
e adicione (ou altere)
vm.swappiness=10
Mais informações aqui .
Considere o valor como percentual e menor valor significa usar menos swap.
No meu laptop com 16 GB de RAM, usando 10, estou bem.