Para deixar claro, estou executando este comando exato (variáveis alteradas) em uma configuração gnu parallel
:
/usr/bin/parallel -q -j20
rsync --recursive -av -e ssh -oCompression=no -x -T
-oUserKnownHostsFile=/dev/null -oConnectTimeout=15
-i ssh_key -l some_username --chmod=Dugo+rwx,Fugo+rw
--files-from {} /some/base/dir somehostame:/some/other/dir
Isso consome cerca de 50 arquivos (contendo uma lista de nomes de arquivos / diretórios para o rsync), em 20 trabalhadores através de gnu parallel
. Eu corri o acima ontem à noite, e voltei a trabalhar para ver que ainda há 1 trabalho rsync, pendurado:
rsync --recursive -av -e ssh -oCompression=no -x -T -
oUserKnownHostsFile=/dev/null -oConnectTimeout=15
-i ssh-beta-secdata-20180515t213639 -l diskmaker
--chmod=Dugo+rwx,Fugo+rw
--files-from ./some_filelist /some/base/dir somehostname:/some/other/dir
Portanto, para ficar claro, some_filelist
é uma lista de diretórios nos quais quero fazer o rsync.
Eu pegarei os arquivos da base (como se chroot
'd) de /some/base/dir
para um diretório remoto somehostname:/some/other/dir
.
Portanto, existem cerca de 500 trabalhos dos quais parallel
obtém. Analisei cada lista de arquivos e não há nada de especial sobre isso ./some_filelist
; 200 arquivos padrão de um dryrun rsync.
Alguém tem diagnóstico para esse problema? Estou completamente perdida em como isso pode acontecer. Eu posso postar mais trechos, se necessário.
Tags ssh bash rsync gnu-parallel