Eu gerencio o backend hospedado na AWS para uma inicialização de aplicativo móvel e, historicamente, armazenamos dados de log de aplicativos (ou seja, solicitações de API brutas) em tabelas InnoDB em nossa instância MariaDB de produção no RDS. Esses dados de log não são usados pelo nosso aplicativo; nós só o usamos para depuração e estatísticas, e nós truncamos as tabelas a cada 1-2 dias.
À medida que nossa atividade cresceu, descobri que isso tem sido cada vez mais ineficiente, já que nosso banco de dados de produtos para produtos é afetado por consultas de registro e as tabelas de log passaram de 100 mil linhas por dia para 2M +.
Qual é a melhor maneira de armazenar logs como este (preferencialmente usando o AWS) de uma maneira que permanece pesquisável?
Sugira que você procure usar os Cloudwatch Logs . Logs são mantidos indefinidamente por padrão, você pode pesquisá-los, você pode alertar sobre qualquer coisa que você gosta. Você pode movê-los para qualquer outro serviço da AWS, como o EMR, para fazer análises adicionais.