Acho que pode haver alguma confusão sobre sua postagem. Quando você diz, ele diz para você reiniciar, você quer dizer após a instalação?
Usando qualquer tipo de pen drive, depois de configurá-lo para ser inicializável e com o Ubuntu nele, o que você está fazendo é ligá-lo e esperar que ele vá diretamente para o pen drive, e você veria uma tela roxa e então tem uma opção para instalar ou tentar o Ubuntu.
Poderia ser útil se você explicasse mais, tenho a sensação de que há mais nessa história.
Você não é capaz de:
faça com sucesso a unidade de inicialização
inicializar com êxito no pen drive ou
outro?