O ZFS possui mecanismos para fazer conjuntos de dados (e talvez pools) serem apenas UTF8, potencialmente com mecanismos de normalização diferentes.
Leitura adicional:
O que eu quero é especificar que para um diretório, toda criação / modificação de arquivos dentro do diretório será verificada pelo kernel e se o nome do arquivo tiver caracteres não suportados, o processo incorreto receberá o erro "permissão negada".
Eu estava pensando em escrever um driver de fusível que rejeita nomes de arquivos não compatíveis. Mas isso não parece prático.
Eu não estou procurando soluções que recomendem coisas como um cronjob ou inotify que limpam caracteres indesejáveis após o fato. Estou à procura de algo que seja preventivamente preventivo.