Sim, isso funcionará bem. Eu tenho uma imagem de desenvolvimento que eu executo no VirtualBox em várias máquinas sem nenhum problema. É carregado em uma unidade flash de 16 GB.
Uma dica: pode ser realmente irritante usar uma unidade flash entre máquinas quando uma letra de unidade consistente não é mantida em cada máquina. Para resolver esse problema, use o Gerenciador de discos para atribuir sua unidade flash para A ou B em cada máquina que você usa. Essas letras de unidade são sempre reservadas, portanto, nenhum dispositivo USB as usará, a menos que seja explicitamente atribuído.