Em uma ocasião, tive o instalador do Ubuntu para instalar o GRUB no drive flash, em vez do HDD - a máquina inicializou apenas enquanto a unidade flash estava conectada.
Eu tentaria iniciar o Windows e recriar o LiveUSB para ter certeza de que você não tem o GRUB instalado nele pela instalação anterior.