O problema real poderia ser, ao criar o live cd do ubuntu, você possivelmente especificou alguma unidade (C: ou D: ou E: algo assim, que é uma partição do seu disco rígido atual). Você pode não ter conseguido localizar a letra da sua mídia removível.
Isso causou a instalação do ubuntu nessa partição em vez do usb-flash-drive. A unidade agora se comporta como se fosse uma unidade USB conectada ao computador e, portanto, você está recebendo uma opção para inicializar a partir da chamada unidade virtual.
Por favor, verifique isso.