A maneira mais rápida de copiar muitos dados

Question

Eu tenho que copiar muitos arquivos (60000+) entre dois servidores, o que é aproximadamente 5TB de dados.

Eu tentei montar o servidor de backup como uma pasta e copiar os arquivos dessa maneira, mas não consegui as permissões para gravar arquivos corretamente.

Então eu pensei em unir as 3 portas nic restantes, conectar crosscables e usar cp / scp para copiar tudo. Agora eu não tenho experiência em vincular o nic na transferência de dados dessa maneira.

Seria mais rápido? Alguém pode se relacionar ou me dar alguns conselhos sobre soluções melhores? Seria muito apreciado.

    

Answer 1

Ao copiar grandes quantidades de arquivos, costumo usar estes comandos:

Target:

nc -q 1 -l 1234 | pv -pterb -s <filesize>G | tar xv

Fonte:

tar cv <DIR>  | nc -q 1 <targetip> 1234

Isso transmitirá diretamente todos os dados, sem muita sobrecarga de protocolo da origem ao destino pela porta 1234. Isso provou ser a maneira mais rápida de copiar os dados em uma rede local. Como acréscimo, adicionei o comando pv no destino, para obter uma visão geral aproximada dos arquivos.

Para uma transferência mais avançada, mas talvez mais lenta, recomendo usar o rsync.