Acho que encontrei uma resposta.
config.vm.provider "virtualbox" do |vb|
config.vm.network "private_network", :type => 'dhcp', :name => 'vboxnet0', :adapter => 2
end
Isso criará um adaptador somente para host como eu queria na minha pergunta