Você provavelmente pode configurar seu BIOS com USB como o primeiro dispositivo de inicialização e o HDD como o segundo.
Depende do seu BIOS se ele será ou não solicitado antes de inicializar no USB.
Você sempre pode pressionar F12 durante a inicialização para obter uma lista de dispositivos de inicialização.