Não. Você teria que modificar o Linux ou a implementação do sistema de arquivos, ou usar um sistema de arquivos com filtro de passagem (talvez implementado com fusível) que reforça a restrição.
É uma boa ideia, mas provavelmente é muito difícil chegar a um consenso:
- Os puristas da velha escola insistirão que um nome de arquivo deve ser capaz de ser qualquer sequência de bytes terminada em nul.
- Outros dirão que, se você aplicar o UTF-8 válido, também deverá ir além e proibir outros erros do Unicode, como combinar caracteres sem caracteres base, pontos de código não atribuídos e assim por diante.