Onde eu trabalho, temos um túnel VPN site-to-site configurado entre nosso data center principal e um data center de terceiros que faz alguns Oracle PaaS para nós. Como eles cobram por VM, estamos monitorando os registros de auditoria da Oracle em uma VM local que está executando as análises do departamento de segurança e auditorias. O terceiro (ou melhor, um departamento dentro dele) está reclamando da quantidade de tráfego de rede que passa pelo túnel devido ao syslog.
Está atualmente em execução sem criptografia sobre o udp / 514, então acho que preciso fazer alguma compressão. Após algumas pesquisas, parece que tanto rsyslog (o que o terceiro está usando) quanto syslog-ng (o que estamos usando) suportam Compactação TLS . Temos o ciclo da CPU de sobra, a equipe de rede de terceiros está apenas reclamando porque aparentemente afeta seus SLAs.
Minha pergunta é esta:
Existe alguma maneira de rsyslog essencialmente reunir várias mensagens de uma só vez (digamos em uma janela de cinco minutos) e mandá-las para o nosso servidor syslog-ng de uma vez?
O motivo pelo qual estou interessado em fazer isso é porque estaríamos mudando para o TCP, e haverá mais sobrecarga. Entendo que a maioria dos métodos de compactação fará substituições em dados redundantes, o que eu imagino que seria o caso de um fluxo de mensagens syslog. O objetivo é reunir em lote e depois remover as partes redundantes antes da transmissão.
Parece que o enfileiramento do rsyslog pode fazer o que você deseja. As mensagens também podem ser armazenadas para transmissão fora do horário de pico.
Especificamente, o seguinte:
A diretiva "$ QueueDequeueSlowdown" permite especificar por quanto tempo (em microssegundos) o enfraquecimento da fila deve ser atrasado.