A máquina virtual vive dentro de um arquivo grande. Então, dependendo dos seus objetivos, pode ser suficiente para criptografar esse arquivo.
Você pode usar TrueCrypt . Este software está disponível como um aplicativo portátil e pode ser usado com todos os principais sistemas operacionais. Então, primeiro prepare o Virtualbox e instale o Ubuntu. Agora criptografe o arquivo da caixa virtual com TrueCrypt.
Quando você insere o pen drive USB em outro computador, você pode descriptografar o arquivo com TrueCrypt. Quando isso terminar, você pode inicializar seu Ubuntu.