Eu removerei a partição. Se estiver em um pendrive, formate-o, no entanto, se você estava usando o grub e ele foi instalado no MBR, será necessário inicializar no disco de instalação do Windows e usar a opção de reparo de inicialização para restaurar o código de inicialização da janela. Um bom guia está aqui. link
para remover uma partição de um HDD, simplesmente use o fdisk, ou alguma outra ferramenta, como a partição mágica para windows, da mesma forma, se o Linux foi instalado em um disco rígido separado, simplesmente remova o disco ou o formate.
Como você não era muito específico, se quiser que o Windows seja removido, sugiro que você instale o Linux nele com um live CD, ou não tenho certeza disso, mas acredito que o usb stick pode ter a opção de instalar no disco rígido disco em algum lugar na sua GUI-terra.