O que aconteceu é que durante a instalação você alterou o MBR do disco rígido e na informação ele aponta para o seu drive USB para procurar o próximo estágio do processo de inicialização.
O que você deve ter feito é instalar no MBR da unidade USB e deixar o disco rígido sozinho. Nessa situação, supondo que sua BIOS esteja configurada para inicializar a partir da unidade USB antes do disco rígido, você inicializará o Ubuntu se o USB estiver em uso (com uma opção no menu grub para inicializar janelas) e inicializará quando o USB não estiver inserido durante a inicialização.
Você deve inicializar a partir do USB no Ubuntu e usar primeiro o grub-install
para instalar o grub no MBR do USB e depois restaurar o MBR do disco rígido que contém as janelas (ou use o disco de recuperação do Windows para fazer isso: boot a partir dele enquanto a unidade USB não estiver inserida).
Você pode restaurar o MBR do Windows inicializando o Windows e iniciar o seguinte em um prompt de comando:
bootrec.exe /fixboot
bootrec.exe /fixmbr