Por padrão, seu computador irá (provavelmente, dependendo da configuração do BIOS) inicializar a partir do disco rígido. Quando no BIOS, você deve ver uma linha dizendo algo ao longo das linhas de press <key> to enter boot menu
Se você fizer isso, você deve ter a opção de inicializar o pendrive.
Dito isto, isto é necessário apenas se você estragar a partição do Windows. Se você estragou a instalação do grub, pode consertá-lo sem reinstalar o Windows.