Alguém está ciente de uma ferramenta para criar agendas ideais para tarefas? Eu tenho vários servidores, executando vários bancos de dados, com vários scripts que importam e transformam dados para e de cada banco de dados.
Atualmente, estou agendando os vários cronjobs manualmente, mas isso é propenso a erros e é difícil explicar as exceções, como um trabalho que demora muito para ser executado devido a uma carga de dados extraordinariamente grande. Estou pensando em codificar os recursos e dependências entre cada tarefa e criar um planejador para procurar uma sequência ideal de execuções de tarefas, para que cada tarefa seja executada em um momento em que é menos provável que interfira com outras tarefas.
Eu vi o Drools Planner , mas não é apropriado devido à sua enorme complexidade e sobrecarga.
Provavelmente, é justo perguntar que tipo de plataforma você está preocupado em gerenciar. Estou assumindo o Linux, mas o conceito se aplica também aos sistemas Windows ...
Você está procurando um agendador de trabalhos . Não é fácil entrar, mas pode potencialmente ajudar na escalabilidade e gerenciar suas dependências entre processos. Uma boa solução para começar é o Agendador de trabalhos de código aberto (soluções comerciais são proibitivamente caras ).