Você não pode fazer isso em uma base por arquivo, que é apenas até o programa que faz a edição, você não pode definir isso via permissões de compartilhamento de arquivos.
Por exemplo, se meu programa ler o arquivo na memória, fechar esse arquivo e mostrar a cópia na memória para mim, como o compartilhamento saberá que eu estou "ainda visualizando o arquivo" quando o arquivo foi fechado depois de lido? na memória? ( notepad.exe funciona dessa maneira).
A única coisa que você pode restringir é o número de usuários simultâneos para o compartilhamento em si, no entanto, como no meu exemplo anterior, o arquivo pode estar no processo de ser "visualizado" sem usar uma conexão ativa no compartilhamento.
Isso é feito indo para "Compartilhamento Avançado"
Limitandoonúmerodeusuáriossimultâneosa1.