rsync está apenas pendurado, construindo lista de arquivos

19
[root@centos /]# rsync -av --exclude thumbs /storage [email protected]:/storage
[email protected]'s password: 
building file list ... 

Estou sentado há cerca de uma hora ... são 135 GB de imagens e pastas

/storage é uma unidade scsi ext3 montada.

É normal que o rsync esteja nesse banco calculando os arquivos / diretórios?

    
por Andrew Fashion 02.12.2010 / 20:14

5 respostas

23

O rsync 2.x cria uma lista completa de arquivos na frente.

Adicione a opção -P e você verá um indicador de progresso.

Se você acha que está realmente travando, em outro terminal encontre o pid do rsync e então

  1. Execute strace -p PID e veja o que está fazendo. (Pressione ^ C para parar.)

  2. Execute ps -o wchan PID para ver onde está no kernel.

por 02.12.2010 / 23:54
14

Você deve atualizar para o rsync 3.0.x , onde você terá o benefício de listas de arquivos incrementais, explicado aqui . Estou rsyncing milhões de imagens (~ 200GB total) e vi um enorme speedup quando vai de rsync 2.x para 3.x.

Mesmo assim, provavelmente levará muito tempo para analisar todos esses dados. No meu caso, ainda leva mais de uma hora entre dois servidores DL380 G5 muito poderosos.

    
por 02.12.2010 / 23:58
3

Você anotou anteriormente que du estava suspenso também. Algo está acontecendo com este sistema de arquivos, e rsync está atingindo o que quer que seja du .

Uma coisa rápida que você pode verificar é por mensagens de erro do kernel indicando um problema no disco. Digite dmesg e veja o que há na parte inferior.

    
por 02.12.2010 / 20:46
1

A interrupção após a mensagem "criar lista de arquivos ..." pode ser causada por incompatibilidade de MTU, por exemplo, se você configurou as interfaces de rede com o MTU 9000, mas não o switch, pequenos pacotes (como conectar-se ao servidor rsync) passarão, mas não os maiores (como o envio da lista de arquivos).

    
por 18.05.2018 / 11:00
0

Com base nisso e em sua outra pergunta de du /storage hanging, acho que nem du ou rsync é o problema, mas há alguns problemas com /storage .

    
por 03.12.2010 / 00:42

Tags