Isso geralmente é algo que você terá que gerenciar em seu software. Nomes de arquivos no Unix já são tratados como binários; como jordanm mencionado anteriormente, apenas '/' e '\ 0' são caracteres não permitidos. Veja as respostas a esta pergunta para mais informações: Várias questões sobre a codificação de caracteres do sistema de arquivos no linux