Se eu entendi corretamente, parece que você pode simplesmente alterar sua ordem de inicialização. Parece que o material BIOS / UEFI do computador está dizendo ao computador para inicializar a partir do HDD antes de testar a unidade USB.
Quando você inicia o computador, observe os cantos da tela em busca de uma linha de texto que diga algo como 'F12 para BIOS' ou alguma variante dele. Alguns toques de tecla habituais são "del", "F12", "F10" e "F2". Isso deve levar você a uma tela com algumas guias. Uma vez lá, procure por algo como "Dispositivos de inicialização" e, assim que descobrir, "Prioridade de dispositivo de inicialização" ou "Ordem de inicialização" deve estar por perto. Mova a entrada USB acima da entrada da unidade de disco rígido e você poderá inicializar a partir do USB sem remover o seu USB.
== Also ==
Em alguns casos (como a minha própria placa-mãe que tive que atualizar em flash, uma placa GigaByte GA-970A-UD3), a inicialização via USB não funcionou, então eu precisava atualizar o BIOS de minhas placas-mãe. Improvável, mas possível.