Não tenho certeza do que você quer dizer com "Tentei encontrar pequenos segredos na BIOS" , mas há algumas coisas que podem estar causando problemas.
Primeiro, o BIOS não está configurado corretamente para inicializar em USB. Abaixo está como fazer isso por Toshiba.
Once in the BIOS locate the Boot tab and set the boot order to show the USB at the top as shown (Windows 7 shown, other similar). Once set, save and exit. All subsequent times the computer boots it will attempt to boot from the USB first then the hard drive second.
Em segundo lugar, o USB pode não estar configurado corretamente para ser um dispositivo inicializável. Aqui estão as instruções para instalar o Ubuntu / Kubuntu a partir de um USB . Cerca de metade da página discute "Criando uma unidade flash USB inicializável do Ubuntu".