O servidor do planejador de fluxo de ar não está funcionando

Question

Eu corro o comando airflow scheduler , está funcionando. No entanto, não consigo configurar o serviço de agendador de fluxo de ar.

A seguir, meu código de serviço do planejador de fluxo de ar.

[Unit]
Description=Airflow scheduler daemon
After=network.target postgresql.service rabbitmq-server.service
Wants=postgresql.service rabbitmq-server.service

[Service]
EnvironmentFile=/home/ubuntu/airflow
User=ubuntu
Group=ubuntu
Type=simple
ExecStart=/bin/airflow scheduler -n ${SCHEDULER_RUNS}
Restart=always
RestartSec=5s

[Install]
WantedBy=multi-user.target

No entanto, ele não está em execução quando inicio o planejador de fluxo de ar. Eu recebo o seguinte erro:

May 25 21:11:37 ip-11-210-11-108 systemd[1]: airflow-scheduler.service: Service hold-off time over, scheduling restart.
May 25 21:11:37 ip-11-210-11-108 systemd[1]: Stopped Airflow scheduler daemon.
-- Subject: Unit airflow-scheduler.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit airflow-scheduler.service has finished shutting down.
May 25 21:11:37 ip-11-210-11-108 systemd[1]: airflow-scheduler.service: Failed to load environment files: No such file or directory
May 25 21:11:37 ip-11-210-11-108 systemd[1]: airflow-scheduler.service: Failed to run 'start' task: No such file or directory
May 25 21:11:37 ip-11-210-11-108 systemd[1]: Failed to start Airflow scheduler daemon.
-- Subject: Unit airflow-scheduler.service has failed
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Unit airflow-scheduler.service has failed.
--
-- The result is failed.
May 25 21:11:37 ip-11-210-11-108 systemd[1]: airflow-scheduler.service: Unit entered failed state.
May 25 21:11:37 ip-11-210-11-108 systemd[1]: airflow-scheduler.service: Failed with result 'resources'.

Eu não tenho nenhuma experiência com o systemd. O que é o SCHEDULER_RUNS? Como configurá-lo?

    

Answer 1

No seu arquivo systemd, existe essa linha

EnvironmentFile=/home/ubuntu/airflow

Isso deve apontar para um EnvironmentFile, que é usado pelo systemd para armazenar algumas variáveis. Parece que você está apontando para o diretório inicial do fluxo de ar.

Deve apontar para um arquivo chamado airflow , dentro do qual deve haver uma variável para o SCHEDULER RUNS. Veja o arquivo de fluxo de ar aqui: link

Você também tem este erro: Falha ao executar a tarefa 'start': Nenhum arquivo ou diretório desse tipo

Isto está relacionado com esta linha: ExecStart=/bin/airflow scheduler -n ${SCHEDULER_RUNS}

Essa linha está dizendo para executar /bin/airflow , o que, presumo, não existe na sua máquina. É provavelmente em /usr/local/bin/airflow ou em algum lugar assim. Você pode executar which airflow para ver seu local de instalação real. Você pode adicionar um link simbólico para que o / bin / airflow aponte para o local real, mas não é necessário complicá-lo demais, pelo menos faça com que ele funcione primeiro. Acabei de verificar, aparentemente, os links simbólicos realmente funcionam no link

do systemd