Linux para Linux, transferência de 10 TB?

9

Eu olhei para todas as perguntas anteriores semelhantes, mas as respostas pareciam estar em todo lugar e ninguém estava movendo um lote de dados (100 GB é diferente de 10 TB).

Tenho cerca de 10 TB que preciso migrar de uma matriz RAID para outra, gigabit Ethernet, a enciclopédia gratuita, XFS sistemas de arquivos. Minha maior preocupação é ter a transferência no meio do caminho e não poder retomar facilmente. A velocidade seria boa, mas garantir a transferência é muito mais importante.

Normalmente, só tenho tar & netcat, mas o array RAID do qual eu estou me movendo ultimamente tem sido super esquisito, e eu preciso ser capaz de recuperar e retomar se ele cair no meio do processo. Devo estar a olhar para rsync ?

Olhando para isso um pouco mais, acho que o rsync pode ser muito lento, e eu gostaria de evitar isso levando 30 dias ou mais. Então, agora estou procurando sugestões sobre como monitorar / retomar a transferência com netcat .

    
por lostincode 07.06.2010 / 23:59

4 respostas

14

sim, rsync

fora do excêntrico, os recursos assíncronos que o DRBD lançou recentemente.

    
por 08.06.2010 / 00:03
2

Nunca subestime a largura de banda de uma station wagon cheia de fitas. 10 TB seria viável com equipamento NAS de consumo relativamente barato se você pode dividi-lo em pedaços (digamos, 2TB). Se isso é um processo único, então um processo semi-manual pode ser viável, e um NAS de 2TB é apenas algumas centenas de dólares.

Se você precisar de um processo em andamento, poderá configurar o RSYNC depois de fazer a transferência inicial.

    
por 08.06.2010 / 18:23
2

Eu tive que fazer esse tipo de tarefa alguns meses atrás. Eu usei o rsync paralelo para acelerar o processo. Ele divide os arquivos a serem transferidos / sincronizados em partes e pode ser retomado a qualquer momento. Veja o link abaixo para o script rsync paralelo.

link

    
por 02.10.2014 / 14:44
0

Você pode tentar configurar um servidor FTP no servidor com os dados a serem copiados e usar um cliente FTP com "currículo" no terminal de recebimento. Eu uso o servidor Filezilla e cliente e eu uso o recurso "currículo" do cliente com bastante frequência e sempre funcionou sem problemas.

    
por 08.06.2010 / 01:57