AMQPS para o Syslog

Question

Atualmente, estou usando a API básica para extrair logs de um fornecedor de segurança na nuvem, mas não é um processo muito limpo. Eu gostaria de fazer a transição para o serviço de streaming de eventos (AMQPS) que eles fornecem.

Já configurei a fila e tenho as informações relevantes no lado da nuvem, mas o problema que estou enfrentando é descobrir a melhor maneira de aceitar esse fluxo e despejá-los no syslog. Estou utilizando o syslog-ng agora, mas parece que ele só pode enviar para o RabbitMQ e não aceitá-lo.

No momento, estou analisando o Pika para ver se isso funcionaria para aceitar o AMQPS e, em seguida, direcioná-lo para um arquivo de log, mas é aí que estou encontrando alguns problemas. Qualquer ajuda seria muito apreciada.

Obrigado

    

Answer 1

Eu encontrei uma página github feita por walbit ( link ), que parece estar funcionando corretamente para mim. Estou usando o "consume_event_stream_by_name.py" e despeja todas as entradas para o padrão. Fiz uma pequena modificação para enviá-lo para o syslog e agora o syslog-ng está aceitando-o.

Meu único problema no momento com esse código é que parece que o tempo limite é atingido de tempos em tempos ou a morte é geral se as conexões não estiverem chegando. Então, preciso descobrir o que está acontecendo com isso.

#!/usr/bin/env python

import argparse
import pika
import pprint
import requests
import sys
import logging
import logging.handlers

# YOU NEED TO CREATE AN auth.py FILE WITH CLIENT_ID AND API_KEY STRINGS
from auth import CLIENT_ID, API_KEY

parser = argparse.ArgumentParser()
parser.add_argument('event_stream_name', metavar='event_stream_name',
                    nargs=1, help='event stream name')
parser.parse_args()
event_stream_name = parser.parse_args().event_stream_name[0]

api_endpoint = 'https://api.amp.cisco.com/v1/event_streams'

session = requests.Session()
session.auth = (CLIENT_ID, API_KEY)

event_streams = session.get(api_endpoint).json()['data']

event_stream = {}

for e in event_streams:
    if e['name'] is event_stream_name:
        event_stream = e

amqp_url = 'amqps://{user_name}:{password}@{host}:{port}'.format(
    **e['amqp_credentials'])
queue = e['amqp_credentials']['queue_name']
parameters = pika.URLParameters(amqp_url)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()


parameters = pika.URLParameters(amqp_url)
connection = pika.BlockingConnection(parameters)
channel = connection.channel()

my_logger = logging.getLogger('MyLogger')
my_logger.setLevel(logging.INFO)
handler = logging.handlers.SysLogHandler(address = '/dev/log')
my_logger.addHandler(handler)

def callback(ch, method, properties, body):
#    print(" [x] Received meth:\t%r" % method)
#    print(" [x] Received prop:\t%r" % properties)
#    print(" [x] Received body:\t%r" % body)
#    print(body)
    my_logger.info('Fireamp: ' + body)


channel.basic_consume(callback, queue, no_ack=True)

print(" [*] Connecting to:\t%r" % amqp_url)
print(" [*] Waiting for messages. To exit press CTRL+C")
channel.start_consuming()