Você instalou o carregador do primeiro estágio grub no mbr do hardrive e colocou o resto dos arquivos grubs em sua partição de inicialização na unidade usb. Para fazer o que você quer, você precisa colocar grub no mbr da unidade usb, reparar o mbr da unidade do windows (equivalente a fdisk /mbr ) e alterar a ordem de inicialização para inicializar a partir do usb primeiro, se presente, depois do disco rígido .