Método de transferência automática de arquivos de log de vários servidores

Question

Uma vez por dia, quero executar o AWStats em arquivos de log do servidor da web gerados por vários servidores de carga balanceada. Eu quero uma maneira eficiente de transferi-los para um único lugar. Já existe uma ferramenta que pode fazer isso?

Caso contrário, eu estava pensando em usar um cron job para grep para o dia atual, depois tar e gzip os arquivos antes de enviá-los para que eu possa mesclar e analisá-los. Esta é uma boa abordagem ou você pode sugerir uma abordagem melhor?

Obrigado!

    

Answer 1

Existem ferramentas que devem ser um Sistema de Gerenciamento de Log Central para Linux, que não exigem que sejam copiadas. Pelo menos, não no sentido que você está falando, você pode apenas configurar montagens NFS ou instalar clientes nas máquinas.

Um aplicativo fácil com uma interface da web bacana é o Splunk , ele é gratuito para até 500MB por dia de indexação sem autenticação para a Web interface.

O método clássico mais manual é o syslog-ng , que pode estar no seu sistema. Aqui está um tutorial sobre como configurar um servidor de log central com isso.

    

Answer 2

Basta fazer o rsync dos logs para a sua máquina de análise, poupa muita lógica desnecessária.

    

Answer 3

Use o rsync

Eu usaria o rsync em um cron job. Rápido, confiável e simples.

    

Answer 4

Nas ferramentas do AWstats você pode encontrar um script perl (logresolvemerge.pl) para os arquivos de log de mesclagem em caso de balanceamento de carga. Este script pode ajudá-lo APÓS a cópia (o rsync é uma boa escolha - veja as respostas de jodiek e KPWINC) dos registros do servidor web.

    

Answer 5

Você já pensou em usar o NFS nos servidores para montar um diretório de outro servidor?