Suponho que rodar o VirtualBox em uma chave USB seja o problema. As chaves USB têm tempos de gravação mais lentos que os discos rígidos. Então, o que acontece é que a VM do Ubuntu grava dados em seu disco (que também é armazenado na chave USB, suponho) e os dados não podem ser gravados com rapidez suficiente na chave para que a VM seja interrompida.
Se você copiar a imagem do disco rígido do Ubuntu para o seu disco rígido e usar este para inicializar o Ubuntu, você está tendo os mesmos problemas?