Parece que as configurações do BIOS do seu computador estão configuradas para inicializar a partir de uma unidade USB antes de inicializar a partir de um disco rígido. Quando a instalação do Windows 10 for reinicializada, provavelmente será necessário inicializar a partir do disco rígido para continuar a instalação. Tente remover a unidade USB completamente quando o computador for reiniciado - então ela será forçada a inicializar a partir do disco rígido.
Você também pode editar as configurações da BIOS para que a unidade USB tenha uma prioridade menor que a do disco rígido, mas você pode ter problemas para inicializar na unidade USB pela primeira vez.