A possível causa para isso pode ser que os discos de pedido sejam carregados ou vistos pelo GRUB.
Por exemplo, se a sua unidade flash USB for "vista" antes do disco rígido, o seu computador e o Ubuntu funcionarão bem, mas, quando você remover a unidade USB, o GRUB pensa que o HDD é a unidade flash USB e procura o disco rígido que obviamente não está lá.
Para curar isso, você terá que baixar e executar Reparo do GRUB , que corrigirá o GRUB para que funcione corretamente