Se você está recebendo o menu GRUB, algo está errado com a unidade USB, pois você não está acessando o carregador de inicialização do Windows. Tente seguir as instruções sobre como criar um USB inicializável no site do Ubuntu ( link ) substitua o ISO do Ubunto pelo seu Windows.
Lembre-se também de que você precisará garantir que o Windows não precise de nenhum driver adicional para ler seu pendrive (Kingston USBs do IIRC), caso contrário você não conseguirá concluir a instalação