Por que o GlusterFS é tão lento aqui?

2

Nós configuramos um par espelhado de servidores GlusterFS. Nenhum ajuste especial, o que veio "fora da caixa" com o GlusterFS-3.5.1 no RPM oficial do RHEL6, é o que temos.

O cluster funciona, mas o desempenho é bastante ruim. Por exemplo, extrair um tarball grande ( firefox-31.0.source.tar.bz2 ) via GlusterFS no localhost leva uns impressionantes 44 minutos aqui. Extrair o mesmo arquivo diretamente - no mesmo disco - leva menos de 2. Há uma disparidade semelhante na remoção das árvores criadas (leva 10 minutos via gluster) ...

Naturalmente, é de se esperar que o espelhamento precise acontecer, etcaetera, um sistema de arquivos que usa rede será mais lento - mas 30 vezes mais lento? Simplesmente copiar o arquivo grande é rápido - então não é a largura de banda que nos falta. Enquanto a untar-ing está em execução, vejo os processos glusterfs (client) e glusterfsd (server) consumindo muito CPU (cerca de 10% cada), mas o sistema permanece cerca de 70% inativo - ambos Os processos gluster são muito mais ocupados do que os bzip2 e tar extraídos ... O que eles estão fazendo?

Existe algum ajuste que eu possa fazer para melhorar drasticamente o desempenho aqui? Ou devo tentar ceph (ou gfarm ?) em vez de gluster? Ou são todos terríveis com um grande número de arquivos pequenos? Obrigada!

    
por Mikhail T. 09.09.2014 / 01:25

1 resposta

1

Gluster é terrível em grandes números de arquivos pequenos. Pelo menos, a partir da versão 3.6. Eles alegam que a versão beta do 3.7 que já foi lançada melhora muito esse problema. Eu acho que esta versão será lançada como estável em breve, já que a versão Beta foi lançada em 28 de abril, e eles planejaram a versão estável sendo lançada no início deste mês.

    
por 14.05.2015 / 23:23