Qual é a melhor maneira de fazer backup de logs no Amazon S3 em tempo real? [fechadas]

Question

Eu quero fazer backup de todos os meus logs no Amazon S3 em tempo real, qual ferramenta devo usar?

    

Answer 1

O problema é que o S3 não permite que você acrescente a um objeto S3 existente, então, de repente, mil linhas do log de uma máquina são agora mil objetos S3 - gulp ! O S3 não lida bem com muitos arquivos pequenos e seus custos vão disparar rapidamente. Você poderia substituir o objeto (obter o objeto existente, adicionar a nova linha, reenviar), mas isso é tão caro.

Então, vamos ampliar a questão um pouco mais - e se mudarmos o "tempo real" para ficar mais parecido com "cerca de uma hora"? Ou, como se pode dizer, quando você vai girar os logs de hora em hora, você pode girá-los de vez em quando. em S3 .

Para responder à questão dos logs "em tempo real", já existem várias soluções, mas é necessária alguma montagem. Dois grandes que vêm à mente:

• Splunk : caro, mas incrível. Eles têm um nível gratuito, o IIRC, mas isso depende da quantidade de dados que você tem.
• Fluentd : Arrume a coleta de dados centralizada que pode ser enviada para o S3 (agregando dados).