Isso é um comportamento bastante esperado, o link físico é apenas outro nome para o mesmo arquivo. Por exemplo, se você tiver o arquivo A.PDF, crie o link físico B.PDF para o mesmo arquivo, não importa se o arquivo é aberto com o nome A.PDF ou B.PDF - ainda é o mesmo arquivo, então se este arquivo é simplesmente aberto, você não pode excluir nenhum link.
O motivo real é que o nome é armazenado como um atributo no registro de arquivo da tabela de arquivos mestre (no caso de NTFS) e, como o arquivo é aberto, você não pode excluir nenhum link (não é possível modificar arquivo).
Nesse caso, não há nada como o arquivo original, já que os dois nomes pertencem ao mesmo (e o único) arquivo e os dois nomes são iguais. O arquivo é realmente excluído quando a contagem de links atinge zero.