Com o Virtualbox você tem que alocar na VM qualquer memória que você puder comprar da memória física da sua máquina host (você diz 2-4 GB - o que soa bem). Então você tem que alocar espaço de troca (disco) dentro da VM usando qualquer espaço em disco virtual que você atribuir a ele.
Este espaço de troca será fornecido pelo HDD do seu host (SSD), mas se você o criar como um VDI alocado dinamicamente, pelo menos ele só será fisicamente gravado se a VM gravar nele.