O Collectd e o grafite importam dados a cada 5 minutos, em vez de 1 minuto

2

Eu sou um pouco novo em grafite, então tenha paciência comigo. Eu estou olhando em alternativas para uma instalação de cactos grande e bastante difícil, então eu tenho jogado com grafite. Nós extraímos muitos dados via SNMP, então eu também fiz o download, compilei e instalei o collectd para enviar dados SNMP para o grafite.

Eu configurei uma consulta simples dentro do collectd para pegar os contadores eth0 in / out atuais. Eu estou olhando para capturar a resolução de um minuto por uma semana, seguido por 5 minutos depois, então meu storage-schemas.conf se parece com isso:

[carbon]
 pattern = ^carbon\.
 retentions = 60:90d

[default]
 pattern = .*
 retentions = 60s:1w, 5m:1y

Da mesma forma, em collectd.conf defini o seguinte:

<Plugin snmp>
   <Data "std_traffic">
       Type "if_octets"
       Table true
       Instance "IF-MIB::ifDescr"
       Values "IF-MIB::ifInOctets" "IF-MIB::ifOutOctets"
   </Data>

   <Host "lonsbrndlb01">
       Address "lonsbrndlb01"
       Version 2
       Community "public"
       Collect "std_traffic"
       Interval 60
   </Host>
</Plugin>

Este quase funciona perfeitamente. As chaves aparecem no grafite e os dados chegam.

O único problema é que os dados são um contador e não uma taxa por minuto. Eu posso contornar isso em grafite usando a função derivative , que supostamente transforma contadores em taxas por minuto. No entanto, fazendo isso, vejo este gráfico:

Isso é bastante evidente que os dados só chegam a cada 5 minutos, e não a cada 60 segundos, conforme especificado. Por que é isso? Eu pensei em definir os valores corretos em collectd e grafite, então acho que estou perdendo alguma coisa em algum lugar.

Editar

Mais alguns dados sobre isso, pois podem ser úteis.

As fórmulas que estou usando são apenas derivative(lonsbrndlb01.snmp.if_octets-eth0.tx) e derivative(lonsbrndlb01.snmp.if_octets-eth0.rx) , embora eu tenha mudado agora para usar nonNegativeDerivative por causa das sobreposições de contrapartes. Também atualizei a imagem abaixo para dar uma noção de escala.

A execução de whisper-dump.py no arquivo rx.wsp fornece um cabeçalho de:

Meta data:
  aggregation method: average
  max retention: 31536000
  xFilesFactor: 0.5

Archive 0 info:
  offset: 40
  seconds per point: 60
  points: 10080
  retention: 604800
  size: 120960

Archive 1 info:
  offset: 121000
  seconds per point: 300
  points: 105120
  retention: 31536000
  size: 1261440

seguido por cerca de 2,4M de dados.

Os dados do gráfico anexando &format=json são:

[{"target": "nonNegativeDerivative(lonsbrndlb01.snmp.if_octets-eth0.rx)", "datapoints": [[null, 1342597800], [26346975.0, 1342597860], [35197821.0, 1342597920], [138121.0, 1342597980], [108605.0, 1342598040], [690712.0, 1342598100], [27213713.0, 1342598160], [876898.0, 1342598220], [463897.0, 1342598280], [137499.0, 1342598340], [96980.0, 1342598400], [26237641.0, 1342598460], [35094898.0, 1342598520], [112569.0, 1342598580], [274897.0, 1342598640], [139174.0, 1342598700], [806881.0, 1342598760], [26206311.0, 1342598820], [112298.0, 1342598880], [781205.0, 1342598940], [606872.0, 1342599000], [5184462.0, 1342599060], [61946135.0, 1342599120], [4126005.0, 1342599180], [115908.0, 1342599240], [714159.0, 1342599300], [195738.0, 1342599360], [26261781.0, 1342599420], [100503.0, 1342599480], [751322.0, 1342599540], [930865.0, 1342599600], [230666.0, 1342599660], [59636.0, 1342599720], [62575579.0, 1342599780], [104950.0, 1342599840], [1208886.0, 1342599900], [379369.0, 1342599960], [785827.0, 1342600020], [26215475.0, 1342600080], [221604.0, 1342600140], [351866.0, 1342600200], [231163.0, 1342600260], [211398.0, 1342600320], [70770807.0, 1342600380], [429324.0, 1342600440], [1937893.0, 1342600500], [1476961.0, 1342600560], [72383.0, 1342600620], [371513.0, 1342600680], [29186024.0, 1342600740], [1924055.0, 1342600800], [280068.0, 1342600860], [341216.0, 1342600920], [36643885.0, 1342600980], [26708952.0, 1342601040], [259828.0, 1342601100], [488406.0, 1342601160], [230698.0, 1342601220], [766407.0, 1342601280], [28252848.0, 1342601340]]}, {"target": "nonNegativeDerivative(lonsbrndlb01.snmp.if_octets-eth0.tx)", "datapoints": [[null, 1342597800], [26007032.0, 1342597860], [34808859.0, 1342597920], [100498.0, 1342597980], [91818.0, 1342598040], [649666.0, 1342598100], [26566941.0, 1342598160], [895897.0, 1342598220], [478867.0, 1342598280], [100242.0, 1342598340], [81130.0, 1342598400], [25908859.0, 1342598460], [34659481.0, 1342598520], [75295.0, 1342598580], [285061.0, 1342598640], [103644.0, 1342598700], [824177.0, 1342598760], [25884962.0, 1342598820], [93420.0, 1342598880], [799160.0, 1342598940], [582373.0, 1342599000], [5024696.0, 1342599060], [61269813.0, 1342599120], [3336907.0, 1342599180], [436657.0, 1342599240], [696692.0, 1342599300], [182144.0, 1342599360], [25947578.0, 1342599420], [79011.0, 1342599480], [733857.0, 1342599540], [1015395.0, 1342599600], [184960.0, 1342599660], [48026.0, 1342599720], [61462810.0, 1342599780], [89187.0, 1342599840], [1195360.0, 1342599900], [386772.0, 1342599960], [744445.0, 1342600020], [25913548.0, 1342600080], [201978.0, 1342600140], [344650.0, 1342600200], [199421.0, 1342600260], [208959.0, 1342600320], [69924581.0, 1342600380], [381593.0, 1342600440], [1610764.0, 1342600500], [1484192.0, 1342600560], [41585.0, 1342600620], [373375.0, 1342600680], [28478208.0, 1342600740], [1893711.0, 1342600800], [253921.0, 1342600860], [354558.0, 1342600920], [36199040.0, 1342600980], [26395675.0, 1342601040], [239238.0, 1342601100], [477775.0, 1342601160], [212554.0, 1342601220], [752374.0, 1342601280], [27890202.0, 1342601340]]}]

pode ser dados de pico, mas não há como essa caixa atingir um pico de 60 MB em poucos minutos.

    
por growse 17.07.2012 / 17:47

1 resposta

2

Se você usar o comando whisper-dump.py no arquivo sussurro apropriado, o que isso mostra? Parece que não é exatamente a cada 5 minutos do gráfico. É possível que você esteja apenas recebendo tráfego de rede espinhoso? Além disso, para os contadores, é sempre uma boa idéia usar nonNegativeDerivative em vez de Derivative, já que as contas de versão não-negativa de rollover.

    
por 18.07.2012 / 00:08