TL; dr; Paginação (também conhecida como swap).
Resposta mais longa:
Ignore a parte da VM um pouco. Eu posso iniciar um processo normal e mapear mais memória do que realmente tenho. O sistema operacional me concederá o espaço (grande) solicitado no espaço de endereço virtual. Quando falta a memória física para fazer backup, os dados da página serão transferidos para a partição swap.
Se eu puder fazer isso com qualquer programa, também posso fazer isso com um emulador de máquina virtual ou com uma hipervisualização.
Observe que, no desempenho, isso pode não ser uma boa ideia. No entanto, não vejo razão para que não funcione.