Na verdade, o arquivo não pode ser excluído (ou, da mesma forma, você não pode sobrescrever o mesmo arquivo ), mas pode ser renomeado ou movido.
Assim, desta forma, pode ser substituído.
Similar question aqui (mostrando surpresa por esse comportamento de fato).