Glusterfs distribuiu o desempenho de pequenos arquivos replicados

Question

Eu configurei 4 servidores replicados distribuídos com glusterfs em cima de partições xfs em discos virtuais de servidor hiperv (vhdx dinâmico). As NICs são 6x1Gbit (agrupadas em hyperv). Eu compartilhá-lo através do samba para clientes do Windows. O problema é que eu tenho um desempenho muito ruim com muitos arquivos pequenos (ler e escrever), quando existem muitos arquivos 10k eu tenho taxas de transferência em torno de 300kb (e no cliente nativo não é muito mais rápido também). Existe alguma solução para esse problema? Ou minha configuração é ruim? As grandes transferências de arquivos são boas (utilizando toda a largura de banda)

    

Answer 1

Eu tentei usar o GlusterFS para a implantação de aplicativos da Web e compartilhar uma grande base de arquivos enviados por usuários entre vários servidores em um único ponto. Passei provavelmente uns bons 4 meses tentando obter a velocidade razoável, mas nunca consegui. Você pode ajustá-lo para um aumento de velocidade de 25 a 40% se realmente tentar, mas ainda não será rápido o suficiente.

Eu esqueço os detalhes técnicos exatos, mas o protocolo GlusterFS é muito detalhado, mesmo em sistemas somente leitura. Como Danila disse, é melhor você usar o protocolo NFS através do gluster se quiser um pequeno compartilhamento de arquivos. A grande desvantagem disso é que é NFS.

Outra opção é o Ceph. Está se desenvolvendo rapidamente e é bastante utilizável nos últimos kernels do Ubuntu.

Para ser honesto, eu recomendo abandonar um FS compartilhado, se puder. Você vai me agradecer depois.

    

Answer 2

O cliente FUSE nativo do GlusterFS é terrível com grande quantidade de arquivos pequenos. Você pode tentar usar o NFS também com o GlusterFS. Também não acho que as partições do xfs lhe dêem alguma vantagem nesta configuração sobre o EXT4 nativo. Você pode ler mais algumas informações neste artigo:

link