Você está descrevendo um caso de uso exato para o GlusterFS. O Gluster suportará sharding de arquivos, bem como replicação e distribuição (essa política é aplicada por volume, não por cluster). Ele também tem uma API que pode ser usada para permitir que aplicativos acessem volumes nativamente, chamados libgfapi
.
libfgapi
é usado normalmente pelo libvirt / KVM para acessar os volumes do GlusterFS sem ter que usar o FUSE. Se você quiser que seu aplicativo se conecte diretamente, é uma API muito útil. Caso contrário, você teria que usar o FUSE no lado do cliente para acessar os dados de volume do Gluster.