Logs do Amazon AWS Elastic Beanstalk EBS para o Cloudwatch (Multi Docker Env)

Question

Gostaria de ver todos os meus registros no cloudwatch. Eu tenho atualmente um ambiente de pé de feijão Elastic multi-docker.

Eu selecionei os logs para enviar para o cloudwatch indo para

Elastic Beanstalk > App > Env > Configuration > Software Configuration > CloudWatch Logs

Isso está ativado.

Quando olho no cloudwatch vejo os seguintes bits ...

/aws/elasticbeanstalk/myapp-staging/var/log/docker-events.log
/aws/elasticbeanstalk/myapp-staging/var/log/eb-activity.log
/aws/elasticbeanstalk/myapp-staging/var/log/eb-ecs-mgr.log
/aws/elasticbeanstalk/myapp-staging/var/log/ecs/ecs-agent.log
/aws/elasticbeanstalk/myapp-staging/var/log/ecs/ecs-init.log

Mas não vejo os registros de acesso / erro do nginx.

Eu tenho isso no meu Dockerrun.aws.json

"mountPoints":[
        {
          "sourceVolume": "awseb-logs-nginx",
          "containerPath": "/var/log/nginx"
        }

Se i SSH para a instância com esta contiver, eu posso ver esses logs (quando eu atingir URLS) sendo gerados (como esperado) no caminho local de /var/log/containers/nginx/access.log etc.

Além disso, se eu for para o EBS > Registra e solicita logs recentes Eu também posso ver o que está no log de acesso, ele não está sendo enviado para o CloudWatch?

Eu queria saber se eu tinha que configurar um Log Group com o caminho correto, eu tentei isso, mas ele não foi preenchido?

Tenho certeza de que estou perdendo alguma coisa para levar isso para o Cloudwatch, muito obrigado antecipadamente!

Atualização: Desde então, adicionei o abaixo, que foi sugerido como o que é necessário. Este arquivo fica na pasta .ebextensions chamada nginx_logs.conf .

packages:
  yum:
    awslogs: []

files:
  "/etc/awslogs/config/nginx_logs.conf" :
    mode: "000600"
    owner: root
    group: root
    content: |
      [/var/log/containers/nginx/access.log]
      log_group_name = '{"Fn::Join":["/", ["/aws/elasticbeanstalk", { "Ref":"AWSEBEnvironmentName" }, "var/log/containers/nginx/access.log"]]}'
      log_stream_name = {instance_id}
      file = /var/log/containers/nginx/access.log*
      [/var/log//containers/nginx/error.log]
      log_group_name = '{"Fn::Join":["/", ["/aws/elasticbeanstalk", { "Ref":"AWSEBEnvironmentName" }, "var/log/containers/nginx/error.log"]]}'
      log_stream_name = {instance_id}
      file = /var/log/containers/nginx/error.log*

commands:
  "01":
    command: chkconfig awslogs on
  "02":
    command: service awslogs restart

Ainda não há alegria, pois novamente ainda posso vê-los quando clico em registros de solicitações ou solicito os últimos 100 registros. Mas nada no cloudwatch ...

    

Answer 1

De acordo com a documentação oficial da AWS, os seguintes arquivos são coletados fora da caixa para ambientes Docker Multicontainer EB:

• /var/log/eb-activity.log
• /var/log/ecs/ecs-init.log
• /var/log/eb-ecs-mgr.log
• /var/log/ecs/ecs-agent.log
• /var/log/docker-events.log

Como esses caminhos não incluem o diretório que contém os registros nginx, faz sentido que eles não sejam transmitidos para o CloudWatch.

Para transmitir seus logs, parece que você terá que configurar o agente do CloudWatch Logs para coletar os arquivos no diretório containers. Existem exemplos de configurações aqui . Francamente, é um pouco estranho a configuração padrão do Docker Multicontainer não incluir logs de contêiner, mas aparentemente é assim que a AWS implementou isso.

    

Answer 2

Usamos as seguintes ebextensions para transmitir os logs do aplicativo (nginx / ror) para o cloudwatch

$ cat .ebextensions/cw-logs.config
files:
  "/etc/awslogs/config/nginx-access-log.conf":
    mode: "000644"
    owner: root
    group: root
    encoding: plain
    content: |
        [nginx-access.log]
        datetime_format = %Y-%m-%dT%H:%M:%S%f
        file = /var/log/containers/project1-staging/nginx_access.log
        buffer_duration = 5000
        log_stream_name = project1_staging_{instance_id}
        initial_position = start_of_file
        log_group_name = PROJECT1_STAGING_NGINX

  "/etc/awslogs/config/app-log.conf":
    mode: "000644"
    owner: root
    group: root
    encoding: plain
    content: |
        [app-access.log]
        datetime_format = %Y-%m-%dT%H:%M:%S
        file = /var/log/containers/project1-staging/app.log
        buffer_duration = 5000
        log_stream_name = project1_staging_{instance_id}
        initial_position = start_of_file
        log_group_name = PROJECT1_STAGING_APP

commands:

    00-cmd:
        command: chkconfig --level 35 awslogs on
        test: "[ -s /usr/sbin/awslogsd ]"

container_commands:
    00-cmd:
        command: service awslogs restart
        test: "[ -s /etc/awslogs/config/nginx-access-log.conf -a -s /etc/awslogs/config/app-log.conf ]"

E rotação para a política S3

$ cat .ebextensions/cw-logs-s3-rotation.config
files:
  "/tmp/logrotate-project1-staging.conf":
    mode: "000644"
    owner: root
    group: root
    encoding: plain
    content: |
        /var/log/containers/project1-staging/*.log {
            size 512M
            weekly
            rotate 0
            missingok
            compress
            notifempty
            copytruncate
            dateext
            dateformat -%Y-%m-%d_%s
            olddir /var/log/containers/project1-staging/rotated
            lastaction
                aws s3 mv --recursive /var/log/containers/project1-staging/rotated/ \
                s3://app-logs-archive-s3-bucket/project1-staging/$(date '+%Y')/
            endscript
        }

container_commands:
    00-cmd:
        command: mv /tmp/logrotate-project1-staging.conf /etc/logrotate.elasticbeanstalk.hourly/logrotate.elasticbeanstalk.applogs-project1-staging.conf
        test: "[ -f /tmp/logrotate-project1-staging.conf ]"

Nosso Dockerrun.aws.json parece

$ cat Dockerrun.aws.json 
{
    "AWSEBDockerrunVersion": 2,

    "containerDefinitions": [{
        "name": "project1-staging",
        "image": "0123456789.dkr.ecr.us-east-1.amazonaws.com/project1:staging_v.1234567",
        "cpu": {{ env['DOCKER_CPU'] }},
        "memory": {{ env['DOCKER_MEMORY'] }},
        "essential": true,

        "portMappings": [{
            "hostPort": 80,
            "containerPort": 80
        },
        {
            "hostPort": 443,
            "containerPort": 443
        }],

        "mountPoints": [{
            "sourceVolume": "awseb-logs-project1-staging",
            "containerPath": "/home/app/project1/log"
        }]
    }]
}