A maneira mais rápida de copiar 1TB com segurança pelo fio [duplicado]

1

Eu quero transmitir um arquivo de 1 TB pela internet. Eu tenho controle sobre ambas as máquinas (remetente unix, receptor linux). Eu posso abrir FTP, OpenVPN, NFS, ...

Até agora, a retomada por algum motivo não é estável no FTP, então eu corto o arquivo em partes de 1GB e transmito arquivo por arquivo, depois md5 no outro lado. É muito chato.

Eu tenho entre 3 e 6 mbytes / seg para o outro site. Que é uma velocidade bastante decente.

Eu quero que seja seguro e quero retomar se falhar. Eu tentei o NFS - sem recomeçar.

Existe uma maneira mais limpa e mais segura?

    
por mist 15.05.2014 / 00:57

2 respostas

2

Se você precisar reiniciar, o rsync provavelmente é o caminho a ser seguido. Um dos caminhos mais rápidos em uma rede, descobri é com o "Samba" - mas, para obter um excelente desempenho, ele geralmente precisa ser ajustado para o ambiente. Mas o que quero dizer com "fast" é em uma ethernet de 1Gbit, 125MB / s escreve e 119MB / s lê. As gravações de 125MB / s são tão rápidas quanto você pode obter, a menos que sua carga útil possa ser compactada - ou seja, um arquivo de texto de 1TB provavelmente será compactado para 1 / 10th do tamanho.

Note ... problema w / rsync, "direto" é que geralmente usa algum outro protocolo (rsh / ssh) para fazer a transferência - se você usa rsync sobre 'ssh' você irá incorrer em um custo de criptografia, que em uma boa máquina adiciona um teto de 140-160MB / s. Isso geralmente aumenta a latência em uma conexão de rede e diminui a velocidade de transferência geral em 50% ou mais.

Portanto, o caminho mais rápido depende do tipo de rede que você possui entre as duas máquinas. Velocidades de Internet lenta (ou seja, 0,5-10MB / s) ou uma rede local (com 1Gb ou talvez até mesmo 10Gb).

Se a velocidade de transferência for mais importante e mais do que a geral velocidade, eu "preparar" o arquivo para transferência, executando-o através um bom compressor (como xz ou 7z) - MAS, isso levará um grande pedaço de tempo sozinho (então o tempo geral provavelmente será maior). Mas se a velocidade de transferência real é mais importante, a compressão se torna uma boa maneira de reduzir isso.

Isso realmente depende de onde estão suas prioridades e quanto tempo você deseja gastar para otimizar a velocidade de transferência. No geral, porém, acho que sirlancelot deu a resposta certa, só que pode haver muitos fatores atenuantes dependendo de suas prioridades.

    
por 15.05.2014 / 01:51
5

Acho que rsync permite retomar transferências anteriores.

$ rsync -aP src/ dest:dir/

man rsync

    
por 15.05.2014 / 01:17