Transferindo dados de 70 TB de um servidor remoto para outro

Question

Primeiro vou elaborar o que é o cenário aqui.

Temos 2 servidores ambos do Ubuntu 14.04 LTS e temos um drive chamado / storage / de 70TB Ele inclui muitos arquivos de 30GB de tamanho cada um e outros também. Então, como ambos são servidores remotos e eu quero mover todos esses dados para a mesma unidade do meu outro servidor remoto como / storage /.

Existe alguma maneira de fazer isso de forma rápida e estável para que não haja perda de dados?

uma vez eu tentei mover apenas um arquivo de um para outro que funcionou bem com isso . Qualquer ajuda será grata.

    

Answer 1

Is there any way to do it fastly

Depende da velocidade da conexão de rede entre o servidor de origem e de destino.

70 TB é um monte de dados. Pode valer a pena desconectar fisicamente a unidade do servidor e remontá-la no servidor de destino.

and stably so that there will be no data loss in that?

Se você copiar os arquivos via scp , sua integridade é assegurada pelos protocolos de criptografia usados pelo próprio programa. Então, enquanto scp terminar com um status zero, você sabe que tudo correu bem.

    

Answer 2

Não sei quais soluções você usou da pergunta mencionada, mas sugiro usar rsync e screen , pois essa operação levará muito tempo.

Com essa quantidade de dados, algo pode dar errado (por exemplo, a conexão pode ser perdida) e você terá dificuldade em descobrir o ponto em que deve reiniciar o procedimento. O Rsync faz isso por você.

Falar de velocidade - bem, isso depende da conexão de rede e, sim, mover a unidade física também pode ser uma solução. Dê uma olhada no switch de compactação no rsync, isso pode ajudar se os arquivos puderem ser compactados com facilidade. Se não, então sem compressão também pode ser uma boa idéia (sem uso desnecessário da CPU).

    

Answer 3

Simplesmente

1. Faça um backup
2. Configure o novo servidor, ssh access como root (temporário e com chave pública somente) e instale rsync , crie dir /storage
3. transfira usando rsync (no slackware ssh é ativado o padrão, se não ativar o uso rsync -e )
4. Após a transferência, verifique com df , du se tudo estiver ok e desabilite o acesso ssh como root (mantendo apenas o ssh como usuário)