Eu configurei o rsyslog que encaminha alguns logs para logstash via porta udp. Estou enviando muitos eventos para o rsyslog. O Rsyslog obtém corretamente todos os eventos na fila. Mas o Rsyslog está enviando os eventos para logstash muito lentamente
logstash recebe aproximadamente 50 - 100 eventos a cada 30 -40 segundos. Não enviando imediatamente ou continuamente.
Eu configurei o rsyslog conf que está enviando eventos para um arquivo. Além disso, criei um disco de memória RAM para enviar os eventos para evitar problemas de desempenho de disco-i / o.
O resultado é o mesmo. O Rsyslog tem muitos eventos (5000-10000) na fila principal, enviando aproximadamente 30-40 eventos a cada 20-30 segundos
A versão do Rsyslog é de 8,21
Onde está o problema na minha configuração
Rsyslog.conf:
module(load="imudp")
input(type="imudp" port="5550" ruleset="rs1")
module(
load="impstats"
interval="5" # how often to generate stats
resetCounters="on" # to get deltas (e.g. # of messages submitted in the last 10 seconds)
log.file="/tmp/stats" # file to write those stats to
log.syslog="off" # don't send stats through the normal processing pipeline. More on that in a bit
)
main_queue(
queue.type="LinkedList"
queue.workerthreads="4"
queue.dequeueBatchSize="100"
queue.size="10000"
)
ruleset(name="rs1") {
action(type="omfwd" Target="localhost" Port="5570" Protocol="udp")
#action(type="omfile" dirCreateMode="0777" FileCreateMode="0777" File="/run/shm/messages"
}