É possível.
Um cenário em que posso pensar é quando você tem grandes quantidades de memória (por exemplo, 16 GB) e pouca necessidade de memória virtual (por exemplo, Hyper-V - já que você usa apenas a memória física para executar máquinas virtuais). Você ainda quer alguns para core dumps e situações inesperadas, mas um total de 4GB é suficiente para isso.
Se você tiver certeza de que não precisará de mais de 2 GB de memória virtual, deixe-a assim. No entanto, o espaço em disco é barato e, pessoalmente, eu daria pelo menos 4GB - apenas no caso.
Há uma ótima (e longa) explicação no blog de Mark Russinovich .