Você precisa configurar seu BIOS para inicializar a partir do USB e não do HD. Como isso é feito, mude de computador para computador, assim você pode consultar os documentos do seu sistema se não souber como fazer isso. Normalmente, o BIOS moderno tem a opção de pressionar uma tecla durante a inicialização e oferecer para alterar a ordem de inicialização, que é mais fácil do que alterar o padrão no BIOS.
Se você já está inicializando a partir do pendrive USB, o pendrive não é inicializável, então você deve verificar se completou todas as etapas ao instalar o Ubuntu nele, incluindo a gravação do GRUB nele e não em seu HD.