Entre na sua BIOS (normalmente pressionando F2 na tela de inicialização do fabricante) e vá para a seção "boot". Mova o HDD USB para o topo da lista e salve. Se você ainda tiver o seu problema, verifique se a partição ubuntu do seu USB está sinalizada como inicialização.