Seu problema é mais provável de que o gerenciador de inicialização GRUB não tenha sido instalado corretamente durante a configuração inicial. Para remediar isso, você precisará reinstalar o Ubuntu; que, considerando que você ainda não iniciou, deve ser relativamente discreto. Faça da mesma forma que você instalou anteriormente, selecionando "Something Else ..". No entanto, quando você chegar ao menu de partição, você deve observar um menu drop-down onde o bootloader deve ser instalado. Por padrão, ele escolhe a primeira opção disponível. Ao instalar em um disco rígido externo, você precisa instalar o GRUB no registro mestre de inicialização (MBR) dessa unidade. Assim, no menu suspenso, você verá algo semelhante a /dev/sdX1 /dev/sdx2 e assim por diante, onde X é a letra atribuída ao HDD em que você está trabalhando. Você precisará selecionar a opção /dev/sdX , sem um número associado a ela. Por exemplo, se você estiver instalando o Ubuntu em /dev/sdb1 , você instalará o gerenciador de inicialização em /dev/sdb .
Além disso, enquanto você está trabalhando no Windows 10, você pode ter o mesmo problema que o Windows 8 / 8.1 tem com o sistema que deseja apenas inicializar o Windows devido à ativação segura da inicialização. Você terá que desativar esse "recurso" do Windows em modelos de computador mais recentes. Você pode fazer isso nas configurações do seu BIOS, que diferem de computador para computador. Na maioria das vezes, você verá a opção ao inicializar "Press F12 to Enter Set-Up" ou algo similar. Pressione a tecla indicada, navegue pelo menu do BIOS para Boot Options e desabilite o "Secure Boot".
ATUALIZAÇÃO: Depois de algumas brincadeiras em uma máquina virtual, consegui replicar seu problema. Por padrão, o GRUB é instalado na primeira partição encontrada. Você provavelmente instalou acidentalmente na primeira partição do seu disco rígido interno quando tentou sua primeira instalação. Isso provavelmente significa que você escreveu na sua partição do Windows. O melhor que você pode fazer aqui é tentar encontrar um disco de reparo de inicialização do Windows 10 e reparar a partição de inicialização de sua unidade interna. Então, o Windows poderá inicializar. Ao instalar o Ubuntu na unidade externa, você não poderá passar pelo processo de inicialização normal para iniciar o Ubuntu. Em vez disso, você terá que alterar a ordem de inicialização da sua máquina para que ela inicialize a partir do USB primeiro. Este processo difere dependendo do seu BIOS.