Você precisa editar o seu Vagrantfile. Já deveria haver uma linha de exemplo:
# vb.customize ["modifyvm", :id, "--memory", "1024"]
descomente e modifique o valor ao seu gosto. Se não houver, insira este bloco:
config.vm.provider "virtualbox" do |vb|
vb.customize ["modifyvm", :id, "--memory", "1024"]
end
abaixo da linha Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
.