Grub-bootloader será instalado no primeiro HDD (isto é, por padrão). Então, se você não alterou isso manualmente, o grub agora está instalado em / dev / sda, que é o seu HDD e não o USB.
Como solução, sugiro
1) Inicialize a partir do CD / DVD do Windows e corrija o MBR. (reparação - opção)
2) Reinstale o Ubuntu e certifique-se de que o grub-bootloader será instalado no USB (e não no HDD). USB pode ser / dev / sdb ou / dev / sdc ... etc (mas não / dev / sda). Você verá essa opção se escolher "alguma outra coisa" durante a instalação.
3) Se você quiser atingir esse objetivo
carrega o Ubuntu quando está lá e o Windows quando não está
você tem que "brincar" com o BIOS o tempo todo. Se você tem "uma chave de boot", que permite que você selecione um dispositivo para inicializar (no meu laptop é F12), então é mais fácil. Mas se você não tiver essa chave, sempre que quiser inicializar no Ubuntu, você terá que acessar a página de configuração do BIOS e alterar a ordem do dispositivo de inicialização e colocar o USB (você já conectou).