Você instalou o Ubuntu na unidade flash, como se fosse um disco rígido em seu computador, ou colocou o instalador nele? Se você instalou o Ubuntu na sua unidade flash e o instalador ou estragou alguma coisa, obtenha um disco de instalação do Windows e siga este guia: link Se você acabou de colocar o instalador em um flash drive, então eu não tenho ideia de como o seu bootloader foi substituído, mas siga esse guia de qualquer maneira.
Ele diz que o GRUB resgata, porque a coisa que carrega o windows foi substituída pela coisa que carrega o linux e pode carregar janelas, mas os dois bootloaders não podem coexistir na mesma unidade, então você precisa escolher uma ou outra. O GRUB acaba de ser configurado errado para carregar o Windows, então é o bootloader que é deletado.