Você deve ser capaz de definir opções de inicialização permanentes no seu BIOS. Você pode configurar seu PC para sempre inicializar a partir do USB primeiro, se houver um presente.
No caso de você dar, você tem certeza de que o seu pendrive tem um sistema operacional inicializável? Você pode ter simplesmente copiado os arquivos para o bastão em vez de torná-lo inicializável (um erro comum).