Não é possível fazer isso com o VirtualBox no Linux. O motivo é que o instalador do VirtualBox copia arquivos específicos para o sistema host para configurá-lo:
/lib/udev/rules.d/60-virtualbox.rules
/lib/udev/rules.d/60-virtualbox-dkms.rules
Ele também instala módulos do kernel no sistema host:
/lib/modules/3.14-1-amd64/updates/dkms/vboxdrv.ko
/lib/modules/3.14-1-amd64/updates/dkms/vboxnetadp.ko
/lib/modules/3.14-1-amd64/updates/dkms/vboxnetflt.ko
/lib/modules/3.14-1-amd64/updates/dkms/vboxpci.ko
Você precisa fazer uma instalação adequada para que o host obtenha o udev e os módulos do kernel necessários para executar o VirtualBox.