O módulo RRD do Ganglia é um gargalo?

1

Eu quero monitorar MUITAS métricas em muitas máquinas, e no site Graphite, notei que o componente RRD dos gânglios provavelmente impõe um problema de escalabilidade do FAQ a seguir, explicando por que o sussurro foi inventado em primeiro lugar. Se o problema não foi resolvido (eu gosto do webapp do ganglia2), gostaria de saber se existe uma maneira de usar o gweb2 para ler dados sussurrados.

"A segunda razão por que o sussurro foi escrito é performance. O RRDtool é muito rápido, na verdade é muito mais rápido que o sussurro. Mas o problema com o RRD (no momento em que foi escrito) foi que o RRD só permite inserir um único valor em um banco de dados por vez, enquanto sussurro foi escrito para permitir a inserção de múltiplos pontos de dados de uma só vez, compactando-os em uma única operação de gravação, porque o Graphite opera em muitos arquivos e com operações tão pequenas sendo feitas (escreva alguns bytes aqui, algumas por lá, etc) o gargalo é causado pelo número de operações de E / S Considere o cenário onde o Graphite está recebendo 100.000 métricas distintas A cada minuto, para sustentar essa carga, Graphite deve ser capaz de gravar tantos pontos de dados no disco a cada minuto, mas assuma que o armazenamento subjacente só pode manipular 20.000 operações de E / S por minuto. sussurro foi escrito), lá Não havia chance de continuar. Mas com o sussurro, podemos manter o cache dos dados recebidos até acumularmos 10 minutos de dados para uma dada métrica, então em vez de 10 operações de E / S para escrever esses 10 pontos de dados, o sussurro pode fazer isso em 1 operação. A razão pela qual eu mencionei "no momento em que o sussurro foi escrito" é porque o RRD agora suporta esse comportamento. No entanto, o Graphite continuará a usar o sussurro, desde que o primeiro problema ainda exista. "

    
por chen 09.11.2012 / 03:02

1 resposta

2

A questão que o FAQ sussurro menciona que foi resolvido é chamada "RRDCacheD". E sim, os gânglios podem ser configurados para usar isso, por link , o que deve melhorar drasticamente o I / O desempenho dos gânglios.

    
por 20.11.2012 / 15:14