Você pode renomear baz\foo.exe (por exemplo, para deleteme.exe ) e, em seguida, excluí-lo após a saída do processo.
Você também pode mover o arquivo para outro local, desde que ele permaneça dentro do mesmo sistema de arquivos. (Dentro de um único sistema de arquivos, renomear e mover são quase a mesma coisa.)