Então, essencialmente, você está tentando acessar / gerenciar uma VM do VirtualBox em um host remoto com o Vagrant? Não, isso não é possível atualmente com o provedor Vagrant-VirtualBox existente :( Embora existam soluções para outras plataformas como o link do EC2 que conseguem mais ou menos o mesmo ...