Qual é a configuração do GlusterFS recomendada para um site em crescimento?

Question

Eu tenho um site que está acompanhando a média de 50 milhões de acessos por dia, e dentro dos próximos 3 meses deve ser mais de 100 milhões de acessos por dia. Estamos tentando usar o GlusterFS v 3.0.0 (com os patches mais recentes em 1-17-2010)

Atualmente, acabamos de atualizar para um ambiente de balanceador de carga que possui 3 hosts físicos com 6 VMs Xen-Server 5.5u1 (2 em cada host) para atender ao tráfego de páginas da Web. Cada máquina possui 6 unidades de armazenamento local Raid-6 (7200 RPM-SATA). A velha máquina de onde viemos tinha 1 unidade SAS 10k espelhada.

Também configuramos o GlusterFS atualmente com 3 blocos, um em cada host, e está atendendo as 6 VMs como clientes. Nos testes, tudo parecia bem. No entanto, quando fomos para a produção, parecia que simplesmente não havia I / O disponível o suficiente para atender ao tráfego, mesmo para cima de 15 milhões de acessos. Semanas antes, nosso antigo servidor era capaz de lidar com o tráfego, no máximo, a 20 milhões.

Existe alguma configuração recomendada para tal aplicativo, ou coisas para estar ciente de que não é aparente com sua documentação no gluster.org para um site do nosso tamanho?

    

Answer 1

RAID-6 de drives 6x7.2krpm sem cache de gravação (?) terá um desempenho de gravação terrível, tão terrível que provavelmente irá sobrecarregar os discos o suficiente para impactar o desempenho de leitura também se seu aplicativo tiver uma mistura saudável. Quero dizer realisticamente você está olhando como 250 iops aleatórios em uma divisão de leitura / gravação 80/20 fora dessa matriz. Se você estiver fazendo várias centenas de solicitações de http por segundo, algo tão trivial quanto o log de acesso do apache vai atrapalhar como um ataque DoS.

Se você puder, refaça-os como raid10. Vai custar-lhe algum espaço bruto, mas terá um enorme impacto no desempenho de I / O. E se você pode obter cache de gravação com bateria no cartão de invasão, isso faz uma grande diferença.

Eu não estou familiarizado com o glusterfs em particular, mas todos os sistemas de arquivos distribuídos tendem a ter o mesmo problema básico, latência de rede + bloqueio complexo = baixo desempenho, especialmente em arquivos pequenos e especialmente em cargas de trabalho substanciais.

E / S de disco lento e um sistema de arquivos lento, esse design de cluster simplesmente não se ajusta à carga de trabalho. É tarde demais para devolver os servidores ou pelo menos os subsistemas de disco? Se esta é a principal plataforma de uma empresa de receita substancial, você deve contratar um profissional.

    

Answer 2

Em que meio você está movendo seu tráfego GlusterFS? Se for ethernet, sua configuração será severamente limitada devido às sobrecargas do TCP / IP. O GlusterFS não é o mais eficiente lá. Onde realmente brilha é sobre RDMA. Você pode conseguir isso com Infiniband ou 10GigE.

Eu também não entendo por que você decidiu colocar 2 hosts virtuais em cada host físico se todos eles estiverem executando as mesmas tarefas. Por que não apenas executá-los no metal e evitar a sobrecarga?

    

Answer 3

Qual versão do GlusterF você está usando? GlusterFS 3.0.0 é uma versão principal e tem muitas melhorias, incluindo aumento no desempenho de arquivos pequenos.

Existem muitos tradutores de desempenho no GlusterFS que podem ser ajustados para várias cargas de trabalho. Por exemplo, para aumentar o desempenho de leitura, temos o tradutor read-ahead e, para o desempenho de gravação, temos o tradutor write-behind. O io-cache é outro tradutor de desempenho que pode ser usado para armazenamento em cache.

Que tipo de configuração é sua? Você está usando replicar ou distribuir ou ambos? Qual é o seu backend de rede? Você comparou o IO de rede / disco entre o antigo e o novo servidor para eliminar gargalos?

Se você puder compartilhar seus arquivos de volume conosco, poderemos ajudá-lo a ajustar seus arquivos de configuração para obter um desempenho ideal para suas cargas de trabalho.

Apenas uma informação, oferecemos uma assinatura de suporte de avaliação gratuita de 30 dias [1], na qual você pode fazer com que suas dúvidas sejam respondidas com rapidez e profundidade.

Felicidades, Sachi

[1] link

    

Answer 4

Sem mais informações sobre sua configuração (por exemplo, seu site está estático ou dinâmico? As transações do banco de dados ocorrem nos servidores usando o mesmo subsistema de armazenamento?), mas o RAID 6 é geralmente uma má escolha para desempenho de gravação. ainda mais complexidade através do gluster. Você potencialmente tem dois conjuntos de tradução de gravação em andamento, um no nível de brilho e um no nível do controlador. Então você tem dois cálculos de paridade que atrasam as coisas e causam bloqueio de E / S, a menos que você tenha um cache de gravação grande e períodos de baixa atividade de E / S.

Eu recomendo que você mude para o RAID 10 e faça isso com um canal de fibra ou vários links GigE ligados.