O que você deseja obter é chamado de virtualização e não tem nada a ver com instalações USB persistentes. Você terá que instalar o Ubuntu em uma máquina virtual usando o Virtual Box e manter o arquivo de imagem de disco, .dvi, no pendrive. Para usar esse arquivo, basta selecioná-lo ao criar uma nova máquina virtual em um novo computador.