Eu finalmente encontrei algumas informações sobre o meu problema e uma solução alternativa. A empresa que desenvolve esses aplicativos php me diz para usar o iso-8859-1 para servir os arquivos armazenados, configurando o Apache dessa maneira. Isso não resolve meu problema, mas me dá uma ideia.
Eu usei o link (graças a Como saber a codificação de idioma de um nome de arquivo no Linux? ) para converter nomes de arquivos de utf- 8 (a cópia para debian faz deles utf-8 eu acho) para iso-8859-1 com
$ convmv -f utf-8 -t iso-8859-1 --no-test -r *
Ele resolve meu problema, pois agora meus aplicativos podem encontrar os arquivos armazenados (aqueles migrados e novos).
O único problema é que no meu shell ainda não vejo corretamente os nomes dos arquivos:
$ ls
test ��.xls
$ LANG=fr_FR.UTF-8 ls
test ??.xls
Mas esse é um problema "menor".
ps: desculpe pela pergunta original que não expôs corretamente o problema e por responder com a solução tão tarde