Existem duas maneiras de fazer o que você quer.
Você pode alterar as configurações da bios para sempre inicializar a partir do USB (se estiver disponível), se não estiver, ele será inicializado a partir do disco rígido.
Para fazer isso, vá para a bios (provavelmente pressionando a tecla del repetidamente depois de ligar o computador), e então no menu Boot, encontre uma opção que diga prioridade do dispositivo de inicialização, e lá, dê um maior prioridade do que o seu disco rígido.
Ou, você pode ir até as opções do dispositivo de inicialização antes de inicializar e selecionar seu usb.
Para isso, depois de iniciar o seu computador, pressione repetidamente a tecla que leva você para as opções do dispositivo de inicialização (geralmente F8 ou F12, deve ser indicado na primeira tela que você vê quando liga o computador) e lá selecione seu USB.