Em teoria, você deve ser capaz de clicar duas vezes na configuração XML _vm_name.vbox_ (para hosts Windows assim mesmo) armazenada na sua unidade flash e ela registrará a VM com o VirtualBox e a iniciará. Como um substituto, você deve ser capaz de simplesmente arrastar e soltar o mesmo arquivo de configuração .vbox na GUI do VirtualBox para registrar a VM. Isto é verdade para todas as versões do VirtualBox 4.x.
Você está certo de que precisará do VirtualBox instalado ou de privilégios de administrador para executar a versão portátil. O que especificamente é o problema que você está tendo em casa? Qual sistema operacional você tem? qual versão do VirtualBox?