Primeiro, o upload por FTP não é uma boa ideia (o FTP foi inventado antes que os criminosos assumissem a Internet, por isso, as provisões de segurança são quase inexistentes). Fornecer uma página da Web (protegida corretamente com TLS) para carregar, talvez? Eu sei pouco sobre coisas da web, mas tenho certeza que é fácil acionar a lógica do "arquivo chegou".
Se o retorno não é crítico no tempo, eu apenas colocaria o arquivo localmente na máquina que é para empacotá-lo. Como isso é local, FTP ou o que quer que esteja bem, ou use SSH sem pasword (scp (1)). Um problema são os nomes dos arquivos de destino, mas eu acho que você já resolveu o problema. Ou use filename-yyyymmddhhmmss
. Na munging machine, use um cron job para processar arquivos regularmente e pegá-los (por um cron job, ou empurre-os para fora do munger) sem pressa.
Precisa executar alguns trabalhos de limpeza regularmente para excluir arquivos que sobraram, alertas de arquivos corrompidos, ..., que também é um trabalho para o cron.
[BTW, estou muito desapontado pelo PTB, isso é claramente uma pergunta para o superusuário, mas eu sou apenas um participante humilde a pé aqui.]