Como você sabe que é uma mídia de instalação do Windows USB inicializável válida? Você já tentou em outros computadores? Como você criou isso?
Pelo som, o PC está configurado para inicializar o USB corretamente, o que significa que, se estiver chegando à tela do GRUB, ele não detectou nenhum dispositivo USB inicializável. Então vai para o disco rígido, que inicia o GRUB.
Você pode tentar usar a Ferramenta de download USB do Windows para criar a mídia USB.