Não pode ser feito, se todos forem administradores. Um dos privilégios de administrador é apropriar-se de um arquivo e, depois de fazer isso, eles podem alterá-lo da maneira que quiserem.
Você pode tentar usar a máquina em que o arquivo reside fora do domínio e definir as permissões na máquina local, mas isso é uma grande dor de cabeça e dificultará muito a obtenção de permissões granulares.
Que tipo de arquivo é esse? Se é apenas texto, você pode querer mudar para outro formato, um que não pode ser editado, ou algo assim. Eles ainda seriam capazes de apagá-lo, no entanto.