Você pode instalar o Ubuntu na unidade USB, instalar o VirtualBox no USB e depois inicializar a partir do USB para instalar a Máquina Virtual. Depois que a VM for instalada, você poderá escrever algum tipo de script de inicialização para iniciar a VM quando a USB for inserida e inicializada a partir do desktop do Ubuntu.
Lembre-se de executar um sistema operacional e uma máquina virtual a partir de uma unidade USB não será tão rápida. Além disso, dependendo do disco rígido da VM, você também precisará de um pendrive bastante dimensionável.