A resposta curta é sim com ressalvas.
Como o NFSv3 é sem estado, o driver cliente NFS faz isso com algo chamado "renomear bobo", em que o arquivo excluído é renomeado para algo como .nfsXXXXXXXXXX. Isso geralmente funciona, mas existem algumas advertências em comparação com um sistema de arquivos local. Por exemplo, se o cliente falhar, os arquivos .nfsXXXX não serão excluídos e você terá que limpá-los manualmente.
Acho que a partir do NFSv4.1 o protocolo tem os recursos necessários para implementar delete-on-last-close sem renomear bobo, mas não sei se algum cliente / servidor ainda implementa isso.