Você precisará carregar o menu de inicialização do BIOS para alterar a prioridade de inicialização.
Enquanto o computador estiver reiniciando, mantenha pressionada a tecla que o leva para o menu da BIOS. Nos meus computadores, é F12 ou F7, mas pode ser diferente para a sua máquina (deve dizer qual botão pressionar na tela enquanto o BIOS está carregando).
Quando estiver no menu do BIOS, encontre o menu de prioridade de inicialização e altere a ordem de forma que o USB venha antes do HDD (você sempre pode alterar isso mais tarde).
Também me ocorre que talvez você não tenha feito o USB inicializável? Em qual processo você passou adicionando a imagem iso ao USB?