sim, rsync
Eu olhei para todas as perguntas anteriores semelhantes, mas as respostas pareciam estar em todo lugar e ninguém estava movendo um lote de dados (100 GB é diferente de 10 TB).
Tenho cerca de 10 TB que preciso migrar de uma matriz RAID para outra, gigabit Ethernet, a enciclopédia gratuita, XFS sistemas de arquivos. Minha maior preocupação é ter a transferência no meio do caminho e não poder retomar facilmente. A velocidade seria boa, mas garantir a transferência é muito mais importante.
Normalmente, só tenho tar & netcat, mas o array RAID do qual eu estou me movendo ultimamente tem sido super esquisito, e eu preciso ser capaz de recuperar e retomar se ele cair no meio do processo. Devo estar a olhar para rsync ?
Olhando para isso um pouco mais, acho que o rsync pode ser muito lento, e eu gostaria de evitar isso levando 30 dias ou mais. Então, agora estou procurando sugestões sobre como monitorar / retomar a transferência com netcat .
Nunca subestime a largura de banda de uma station wagon cheia de fitas. 10 TB seria viável com equipamento NAS de consumo relativamente barato se você pode dividi-lo em pedaços (digamos, 2TB). Se isso é um processo único, então um processo semi-manual pode ser viável, e um NAS de 2TB é apenas algumas centenas de dólares.
Se você precisar de um processo em andamento, poderá configurar o RSYNC depois de fazer a transferência inicial.
Eu tive que fazer esse tipo de tarefa alguns meses atrás. Eu usei o rsync paralelo para acelerar o processo. Ele divide os arquivos a serem transferidos / sincronizados em partes e pode ser retomado a qualquer momento. Veja o link abaixo para o script rsync paralelo.
Você pode tentar configurar um servidor FTP no servidor com os dados a serem copiados e usar um cliente FTP com "currículo" no terminal de recebimento. Eu uso o servidor Filezilla e cliente e eu uso o recurso "currículo" do cliente com bastante frequência e sempre funcionou sem problemas.