Se você quiser automatizar isso, você pode usar o agendador de tarefas do Windows.
Crie uma nova tarefa e, para a ação, use
cmd.exe /c "del c:\folder\*.exe"
Você pode agendar isso para ser executado com a frequência que desejar. Se você precisar fazer isso imediatamente, pois um arquivo .exe será salvo, será necessário habilitar a auditoria na pasta e acionar a tarefa agendada em um evento de auditoria. Vou editar isso e adicioná-lo, se isso for importante, pois é bastante envolvido.