Parece que você instalou (1) o Ubuntu ou (2) o carregador de inicialização do Grub ou (3) ambos no seu driver USB.
No caso de 1 e 3, você precisa instalar o Ubuntu novamente, certificando-se de que ele esteja instalado no seu disco rígido (por exemplo, sda2, sda3, etc., supondo que o Windows esteja em sda1) e também que o gerenciador de inicialização Grub esteja também instalado no mesmo disco fixo.
No caso de 2, você precisa instalar somente o Grub novamente dentro do Ubuntu. Você pode escolher um número de método para isso, por exemplo inserindo sudo grub-install /dev/sda
em uma janela de terminal.