Você tem o disco rígido definido no BIOS / UEFI como uma opção de inicialização? Parece que talvez ainda esteja tentando inicializar o USB ou de outra forma.
Eu instalei o servidor Ubuntu 14.04 com uma unidade USB, a configuração vai bem, mas quando ele diz para remover o USB e ele reinicia, ele não inicializa.
Mas inicializa bem quando o USB está dentro.
Você tem o disco rígido definido no BIOS / UEFI como uma opção de inicialização? Parece que talvez ainda esteja tentando inicializar o USB ou de outra forma.