Fluxo de trabalho baseado em arquivo e diretório

3

Eu trabalho em uma empresa onde contribuidores terceirizados transferem arquivos, geralmente por FTP, para nosso site.

Dependendo da conta em que o arquivo é enviado, alguns scripts são acionados e o arquivo é processado.

Normalmente, o arquivo é transferido via FTP para outra máquina, que realiza um trabalho específico no arquivo, e então monitoramos uma pasta "concluída" na máquina remota e a transferimos de volta.

O estágio final do trabalho é transferir o arquivo para o servidor de armazenamento de longo prazo.

Hoje resolvemos isso com o Windows e um software chamado RoboTask. Ele fez o trabalho bem por enquanto, mas não é muito fácil de usar e esconde muita lógica.

Estou procurando algo que seja:

  • Mantido por muitos fluxos de trabalho
  • Modular, para que tarefas comuns possam ser reutilizadas
  • Visual, para que nossos funcionários menos experientes em tecnologia possam entender o que está acontecendo

Alguma sugestão para este problema?

Eu tentei fazer essa pergunta para o Superusuário, mas me disseram que estava fora do tópico, já que estou pedindo uma recomendação de software.

Se esse também for o caso no Unix & Linux, me desculpe, mas você poderia me dizer onde é apropriado fazer a pergunta?

    
por mattis 21.01.2013 / 14:02

1 resposta

1

Primeiro, o upload por FTP não é uma boa ideia (o FTP foi inventado antes que os criminosos assumissem a Internet, por isso, as provisões de segurança são quase inexistentes). Fornecer uma página da Web (protegida corretamente com TLS) para carregar, talvez? Eu sei pouco sobre coisas da web, mas tenho certeza que é fácil acionar a lógica do "arquivo chegou".

Se o retorno não é crítico no tempo, eu apenas colocaria o arquivo localmente na máquina que é para empacotá-lo. Como isso é local, FTP ou o que quer que esteja bem, ou use SSH sem pasword (scp (1)). Um problema são os nomes dos arquivos de destino, mas eu acho que você já resolveu o problema. Ou use filename-yyyymmddhhmmss . Na munging machine, use um cron job para processar arquivos regularmente e pegá-los (por um cron job, ou empurre-os para fora do munger) sem pressa.

Precisa executar alguns trabalhos de limpeza regularmente para excluir arquivos que sobraram, alertas de arquivos corrompidos, ..., que também é um trabalho para o cron.

[BTW, estou muito desapontado pelo PTB, isso é claramente uma pergunta para o superusuário, mas eu sou apenas um participante humilde a pé aqui.]

    
por 21.01.2013 / 17:37