Copiando os arquivos mais recentes dos servidores remotos

Question

Executamos relatórios em vários servidores remotos, os quais coletamos mensalmente em nosso servidor central. Todo o processo é automatizado com scp e funcionando bem.

O problema é que, às vezes, acessamos servidores individuais e tentamos executar esses relatórios manualmente para coletar dados e isso cria o problema. Desta forma, nosso servidor central obtém muitos arquivos do mesmo servidor que temos que encontrar e excluir.

Estou procurando ideias de como podemos tornar esse processo inteligente, de modo que não tenhamos que lidar com vários arquivos do mesmo servidor no mês atual.

    

Answer 1

the issue is that sometimes we go on individual servers and try to run these reports manually to gather data and that creates the issue. This way our central server get many files from the same server which we have to find and delete.

Pela declaração acima, eu entendo que você precisa manter apenas uma cópia do arquivo do servidor remoto em seu servidor central. Você pode conseguir mantendo apenas uma cópia do arquivo dos servidores remotos.

Para consegui-lo, você pode anexar os nomes dos servidores remotos juntamente com o registro de data e hora de todos os arquivos durante a operação scp. Portanto, se um arquivo mais novo aparecer para o servidor central, você pode substituir o arquivo mais antigo pelo arquivo que possui o registro de data e hora mais recente.

    

Answer 2

Opções de casal:

Separe a execução manual única do relatório gerado para que as execuções manuais sejam armazenadas em outro local e seus relatórios mensais automáticos sempre contenham apenas o relatório mensal.

ou

O script que gera o relatório aceita um parâmetro opcional para que você possa chamar o relatório mensal do cron com o mês aplicável para que o nome do arquivo seja algo como 'current-report.June', etc. contém o parâmetro especial, seu processo que captura o relatório mensal será capaz de capturar apenas o relatório de meses (naturalmente este exemplo é limitado, você provavelmente desejará ter mês e ano para que você não tenha problemas se decidir manter mais de 12 meses de dados).

E, como acima, tenho certeza de que existem variações infinitas no acima. Eu pessoalmente prefiro manter scripts / relatórios automatizados separados dos ad-hoc, mas isso significa, obviamente, uma dupla manutenção se for necessária uma mudança. Por isso, talvez seja melhor permitir a flexibilidade dos parâmetros adicionados ao gerador de relatórios para não interromper seu processo mensal quando alguém executa um relatório ad-hoc.