Seu chmod -R é ótimo. Tem que haver um chmod () syscall por arquivo e o sistema de arquivos precisa atualizar seus metadados no dispositivo de bloco.
Desative as barreiras (opção de montagem no XFS, Ext4 etc.) neste FS, se ativado, mas lembre-se de ativá-las posteriormente.
Espero que seja uma ação do tempo e não um problema recorrente? Se o gerenciamento fácil de permissões de arquivos é mais importante que o desempenho e a simplicidade, você poderia tentar escrever algumas permissões de sobreposição de sistemas de arquivos FUSE e uid / gid on-the-fly.