Você instalou o Grub no disco rígido interno em vez do disco removível. Você precisa reinstalar o grub na unidade removível, o que pode ser feito executando sudo dpkg-reconfigure grub-pc
e selecionando a unidade correta no menu e, em seguida, restaurando o que quer que o carregador de inicialização tenha originalmente na unidade interna. Supondo que seja o Windows, você pode usar o comando FIXMBR do console de recuperação do Windows para fazer isso.