Estou usando o rsyslog para obter logs do haproxy e colocá-los no logstash para elasticsearch / kibana.
Tudo estava funcionando bem, mas encontrei algo estranho no rsyslog.
Descobri que perdi dados no kibana. O motivo é o rsyslog.
A fila no disco foi mantida e interrompida por alguns dias
Então eu perdi dados do final de semana, mas ontem e hoje - tudo está bem.
O Rsyslog agora obtém dados e os coloca no logstash, mas ele parece ter esquecido os dados armazenados em sua própria fila (acho que ele vê que eles são antigos, e ignorá-los há um parâmetro para isso, e talvez algum valor padrão seja usado?)
Neste momento, o logstash está ocioso, eu posso forçar para ele muitos dados adicionais da fila do rsyslog
Então, o que eu quero fazer é:
Tente temporariamente limpar essa fila (como o flush do postfix) ou, se isso não for possível, o que devo tentar fazer?
Minha configuração do rsyslog é:
$ActionSendTCPRebindInterval 500
$ActionQueueType LinkedList
$ActionQueueFileName kibana
$ActionQueueMaxFileSize 100m
$ActionQueueMaxDiskSpace 100g
$ActionQueueTimeoutEnqueue 0
$ActionResumeRetryCount -1
$ActionQueueSaveOnShutdown on
Tags rsyslog elasticsearch