O problema não estaria relacionado ao elementar, é mais provável que esteja na configuração do seu BIOS no hardware. A configuração real dependeria de você ter legado ou inicialização UEFI, por isso é difícil adivinhar qual deles. Quando o sistema inicia pela primeira vez, geralmente há uma solicitação para entrar na configuração que muda de sistema para sistema, algo como "insira f10 para configuração". Ele pode rolar muito rápido. Na maioria das vezes algo assim será a ordem de inicialização. A lista deve ter mídia removível (USB) maior na ordem do que o disco rígido. Se estiver na UEFI, talvez seja necessário desabilitar a UEFI segura para obter uma lista de opções de inicialização com suporte à UEFI. É aqui que você selecionaria da lista a opção de inicialização desejada.