Se você inicializou e usou a unidade USB como uma mídia de instalação, o processo de instalação pode terminar sem erros, mas o GRUB pode não estar instalado corretamente no HDD.
Eu experimentei esse comportamento estranho uma dúzia de vezes a partir de 12.04 em diante.
Inicialização subsequente para o ambiente Live e instalação manual do GRUB corrigiu esse problema para mim todas as vezes. Além disso, as caixas afetadas recebem o GRUB correto se inicializadas e instaladas a partir do DVD.
Na minha experiência, a ocorrência é rara e específica do hardware, por isso nunca tive uma chance / tempo para chegar ao fundo do problema.