Eu tenho várias pastas e cada pasta tem cerca de 1500 arquivos. Eu tenho um tipo de loop indo sobre cada pasta e, em seguida, enviando os arquivos para um ou quatro hosts remotos, dependendo do ambiente. Atualmente estou usando rdist. Quase todos os arquivos que eu tenho estão mudando diariamente, às vezes apenas muda a data e a hora dentro do arquivo.
Me deparei com alguns comandos como pscp, prsync e também o GNU parallel. Eu experimentei com pscp e rdist em vários hosts, ambos estão dando resultados semelhantes.
Qual é a diferença entre rdist e prsync em termos de desempenho? Meu entendimento é que o prsync pode migrar arquivos em múltiplos hosts e o mesmo é com rdist. Minha compreensão dos meus testes é que tanto prsync ou rdist, não copie vários arquivos em paralelo em um único host, eles só podem copiar arquivo por arquivo em paralelo em vários hosts em paralelo.Então há algum diferente entre os dois do lado do desempenho ? para rdist, meus scripts criam um distfile como HOSTS (usuário @ usuário do servidor @ server2 user @ server3) EXECUÇÃO: (/ var / inputpath / folder) - > $ {HOSTS} install (/ var / outputpath / folder)
então eu corro como rdist seguindo rdist-f / dist-arquivo-caminho -P / pathto ssh
Testei o GNU paralelo para cópia local usando cp e zipping usando zip. É realmente muito rápido. Isso permite copiar vários arquivos em paralelo, mesmo no computador local.
Então, minha pergunta é, existe a possibilidade de combinar o GNU paralelo com o pscp ou rdist ou prsync?
Tags rsync gnu-parallel pscp