Eu presumo que pelo tamanho da unidade que você está falando, que você está usando um SSD relativamente caro ou uma unidade baseada em disco giratório (em vez de um "pen drive" ou similar).
Se estiver usando uma unidade baseada em disco giratório, você poderá descobrir que o problema é causado pelo fato de o controlador no compartimento da unidade não aparecer no BIOS como um dispositivo USB inicializável até o momento em que a unidade foi completamente girada. Dependendo de quanto tempo a unidade leva para girar e quanto tempo a BIOS faz o restante de seu POST. O POST será mais curto do que quando começar a partir de um estado de desligamento (geralmente nenhum teste de RAM e assim por diante) para uma inicialização a quente, para que a unidade tenha menos tempo para estar pronta antes de ser digitalizada. Isso explicaria que você tem mais sorte quando liga e desliga a máquina.
Alguns BIOS têm a opção de pausar por alguns segundos antes de procurar unidades, para considerar essa possibilidade. Se o seu não (é menos comum agora do que costumava ser), então você pode ter a opção de forçar um POST completo mesmo na inicialização a quente.