Parece que sua BIOS está tentando inicializar a partir do USB sozinho; você atualizou as opções de inicialização do seu BIOS para que ele possa inicializar no seu HDD no qual você instalou o Ubuntu? Caso contrário, acesse a configuração do BIOS na inicialização do computador, depois as opções de inicialização e coloque seu HDD na lista para que ele possa ser inicializado.