Você não pode forçar todos os programas a usar o mecanismo de bloqueio de arquivos fornecido pelo samba. Muitos aplicativos "simples" simplesmente abrem o arquivo, fazem uma cópia local (na memória ou no disco local) e então fecham o arquivo original, de modo que o bloqueio dura apenas a ação de abrir e copiar. O bloco de notas é um exemplo disso. Além disso, esta é realmente uma característica da maioria dos progams, não uma falha.
Pense no que acontece quando um aplicativo falha com o bloqueio ainda no lugar. Programas que usam bloqueios de sistema de arquivos devem estar cientes disso e de suas implicações e ter um mecanismo de recuperação e liberação. É por isso que os aplicativos 'simples' evitam o bloqueio do sistema de arquivos.
Se você realmente quiser usar algum tipo de mensagem 'em uso' para todos os aplicativos, use um sistema de controle de versão. Como mencionado anteriormente em serverfault, isso não é necessariamente um problema técnico, e sim um problema social: você terá dificuldade em convencer pessoas não técnicas a realmente usá-lo.