Se o programa nunca precisar ser alterado de dentro do ambiente PE, você também pode colocá-lo dentro da imagem do Windows (a pasta mount se você estiver seguindo o tutorial do TechNet ; tudo isso fica preso em media\sources\boot.wim ). Dessa forma, ele parecerá estar na unidade do sistema e, como todas as outras coisas lá, não persistirá durante as reinicializações. Não importa onde você coloca o executável lá. Vi pessoas criarem subpastas no diretório do Windows para manter aplicativos de terceiros.
Normalmente, o ambiente do Windows que a unidade flash inicializa atribui uma letra à unidade flash real. Se você precisar modificar o executável no ambiente PE ou colocar coisas próximas a ele, você vai querer colocar o programa na unidade depois de colocar o material PE nele.