Estou usando o rsync para copiar dados de uma unidade LVM local para uma montagem glusterfs montada localmente. Eu estou tentando trazê-los para sincronizar e, eventualmente, cortar apenas usando a montagem glusterfs. Aqui está o comando que estou usando:
rsync -av --inplace --no-whole-file /mnt/lvm-ext4/ /mnt/gluster
Atualmente, tenho o envio de dados inicial feito e estou tentando recuperar os novos arquivos que foram adicionados. O volume LVM atualmente tem cerca de 14 TB de dados com cerca de 25 milhões de arquivos pequenos, mas acho que o rsync está sofrendo com esses muitos arquivos.
Enquanto assisto a saída desta segunda execução, vejo que a maioria das entradas que o rsync está emitindo são entradas de diretório, com um pequeno conjunto de arquivos reais sendo movidos. Eu acredito que isso é porque os diretórios foram tocados e seu atime foi atualizado, exigindo que o rsync os atualize no lado remoto. Eu aprendi recentemente sobre a opção de montagem nodiratime e apliquei isso hoje, então espero que isso ajude com futuras sincronizações.
Existe uma maneira de ignorar o rsync, incluindo essas atualizações de diretório e somente transferir os arquivos novos / alterados ou os novos diretórios? Eu vi as opções para --ignore-times e --checksum, mas elas parecem ser todas inclusivas.
Eu não acho que o seu problema esteja realmente relacionado ao timestamp do diretório.
Com tantos dados, o rsync simplesmente precisará de algum tempo para descobrir os arquivos alterados e começar a transferi-los. Se, entretanto, descobrir um diretório a / m / ctime change, ele irá replicar essa mudança no lado do receptor, mas isso deve ser quase instantâneo.