1) você pode usar o ProcessMon para ver o que está usando o arquivo. Mate isso e exclua o arquivo.
2) Você também pode usar a chave de registro RunOnceEx para que o arquivo seja excluído na inicialização antes de executar qualquer coisa que possa use-o. Eu não tenho uma caixa do windows para criar um exemplo, talvez alguém possa adicionar a esta resposta.