Você pode renomear baz\foo.exe
(por exemplo, para deleteme.exe
) e, em seguida, excluí-lo após a saída do processo.
Você também pode mover o arquivo para outro local, desde que ele permaneça dentro do mesmo sistema de arquivos. (Dentro de um único sistema de arquivos, renomear e mover são quase a mesma coisa.)