rsync de arquivos de 4GB

Question

bobo,

você tem algum problema com arquivos grandes de [> 4 GB] no rsync? [32bit, 64bit, suporte a arquivos grandes ativado]? Eu fiz alguns testes por conta própria entre 2 caixas de 64 bits e não tive problemas na transferência de arquivos de 6-10GB. para fazer um teste completo eu alterei os arquivos, executei o rsync novamente, verifiquei o md5 ... - tudo parece ok.

mas depois que vi este relatório de bug, fiquei um pouco preocupado. Algumas pesquisas, mas não encontrei nenhuma confirmação do problema.

obrigado por seus pensamentos!

edit: sistema de arquivos: ext3, reiserfs

    

Answer 1

O relatório de erros ao qual você vinculou não parece ser um erro relacionado ao tamanho de arquivo de 4 GB +. 429796854 bytes é um pouco tímido de 410Mb, e parece ser um erro de transporte em vez de um erro de rsync. Se

Eu suspeitaria que a conexão de transporte (presumivelmente SSH) tenha caído, talvez devido a um tempo limite de inatividade porque a CPU gastou tanto tempo entre envios porque tinha que fazer algo como checksum em um arquivo muito grande, e essa é a razão que O rsync relata um cano quebrado.

Tenho certeza de que usei o rsync com êxito em arquivos com mais de 4 GB no passado com clientes e servidores de 32 bits, e pelo menos uma vez mais de 4 GB foi transferido, e não apenas para transferência.

    

Answer 2

Não, eu jogo cerca de 5-10GB de imagens de VM usando rsync o tempo todo, nunca vi um problema.

    

Answer 3

O maior arquivo que eu recentemente rsynced foi 180GB que estava em um conjunto de diretórios contendo 15TB (eu escrevi um conjunto de scripts que podem fazer a sincronização em paralelo, eu posso mover os dados em cerca de 3TB por hora ... )

    

Answer 4

Não, nós sincronizamos dois conjuntos de dados de 30TB (feitos de arquivos de 4 a 20GB) diariamente por meses com o rsync, sem problemas.

    

Answer 5

Depende do sistema de arquivos que você está usando. Eu tive problemas com sistemas de arquivos FAT32. Eu tinha um disco rígido portátil de 200GB (formatado como FAT32) e estava tentando copiar um DVD .iso para ele. Não funcionou porque você não pode ter arquivos maiores que 4.somethingGB em FAT32