Você pode ter que ir para o BIOS do seu computador e alterar a ordem de inicialização para ler o USB antes de ler o disco rígido.
Eu baixei o Ubuntu 13.04 em um pen-drive, mas quando eu reinicio o computador, ele não me deixa escolher.
Você pode ter que ir para o BIOS do seu computador e alterar a ordem de inicialização para ler o USB antes de ler o disco rígido.