Você poderia usar o comando wget com o sinalizador -N. O sinalizador -N faz com que o wget baixe apenas os arquivos que são mais recentes no servidor ou estão ausentes do diretório local.
Estou procurando comparar muitos arquivos locais com arquivos remotos em um repositório http. A ideia é que um script bash verifique todos os arquivos no diretório e compare com a versão remota. Se a versão remota for diferente ou apresentar apenas remotamente, faça o download e substitua-a.
Eu estou olhando para usar o md5 e talvez criar um diretório md5 espelhando o repositório com arquivos .md5. No entanto, o único problema é que para obter o md5sum para cada arquivo pode ser lento e consome recursos localmente como eu estou lidando com alguns GB de arquivos.
Então, minhas perguntas são qual é o método mais rápido para comparar os arquivos?
Obrigado
Você poderia usar o comando wget com o sinalizador -N. O sinalizador -N faz com que o wget baixe apenas os arquivos que são mais recentes no servidor ou estão ausentes do diretório local.
Tags shell synchronization http hashsum