Como posso configurar os logs como fonte de dados do servidor unix remoto no splunk?

Question

Como posso configurar o splunk com arquivos de log que residem em servidores unix remotos?

Normalmente eu entro em putty para um servidor linux, de lá eu ssh em outro servidor da empresa e navego através de diretórios e executo minhas operações principalmente como cat , zcat etc., com filtros grep. Ex:

1. faça o login no example_server com putty
2. ssh para ssh_server
3. cd para req dir
4. executar gato, etc,

ssh_server não permitirá que você faça o login diretamente a partir do putty, eu preciso primeiro fazer o login no example_server e depois no ssh_server.

Como posso configurar esses arquivos de log para serem usados pelo splunk para procurar uma string, da mesma forma que eu uso o grep. Eu instalei o splunk no meu laptop, e clicando em add data > files e dir > add new mostra o caminho completo para o campo de dados, com qual caminho devo preenchê-lo?

 1) I can't do any modification to server(have no rights), so i couldn't use splunk    universal forwarder
 2)There's no way i can open port to write to and make splunk listen to it, as i said              my higher-ups won't allow, if something goes wrong, it will cost my job
 if there's anyway i can write to port securely ,that might help.
 3) I can run shell scripts FYI
 4)It will help if anyone suggest how i can securely connect to log servers, download data files(not manually) a python script or .bat file, and will use this local directory in splunk :)

    

Answer 1

Supondo que você já tenha uma instância do Splunk configurada em algum lugar, há várias maneiras de encaminhar seus dados de log para um local central.

Em primeiro lugar, o método mais fácil é enviar suas mensagens do syslog para o servidor de log remoto. Isso se aplica somente se você tiver os direitos e as permissões necessárias para fazer isso e é possível obter os logs desejados para gravar no syslog.

Se você tiver direitos de instalação, poderá configurar uma instância do encaminhador do Splunk na sua caixa remota. Isso é suportado no Linux, Unix e Windows, possivelmente mais.

Também há ferramentas adicionais que você pode usar para encaminhar os registros, incluindo Epilog , e encaminhar o sistema logs.

Falha na instalação de qualquer coisa no servidor Configurei scripts que efetivamente seguem um arquivo de saída e despejo os resultados em uma conexão TCP ou UDP aberta ao servidor Splunk.

EDIT - desde que você respondeu que não tem direitos para instalar nesta caixa, você pode copiar seus arquivos via SSH e adicionar a pasta de destino da cópia ao seu índice do Splunk. Agende este trabalho para executar via cron. Isso não é ideal - permite um grau de adulteração antes que seus logs sejam enviados - mas é funcional.

EDIT - No seu caso eu recomendaria usar o comando nc se você tiver disponível. Essa é uma ótima maneira de monitorar os logs em nenhuma instalação.

tail /your/log/file -f | nc <your.server.ip.addr> <yourport>

    

Answer 2

Com os sistemas Linux e a maioria das soluções de gerenciamento de log, basta modificar a configuração syslog ou rsyslog no servidor Linux para enviar todos os dados para o servidor de log.

sudo vi /etc/syslog.conf . @ X.X.X.X sudo / sbin / service syslog restart

Ter esta configuração irá enviar todos os logs através da porta 514 para o servidor de registro do Splunk que você configurou. Você só precisa garantir que configurou o Splunk para permitir a entrada do tráfego. Na maioria das vezes isso é feito configurando vários hosts que permitem que o X IP envie tráfego para a máquina.

Outras implementações de registro, como o OSSEC, permitem que você instale um agente na máquina para não precisar modificar o syslog.