rsync ou sftp?

Question

Estou tentando enviar arquivos enormes (enormes como aproximadamente 5 GB) entre servidores. Qual é melhor, sftp ou rsync?

Alguém poderia me indicar uma comparação entre o sftp e o rsync, se houver algum disponível? Um é melhor que o outro ? Se sim porque?

Por favor, conselhos ..

    

Answer 1

Para arquivos grandes como esse, use rsync com as opções --inplace ou --partial-dir= para que, se a transferência falhar no meio (devido a uma queda de conexão inesperada, por exemplo), você possa facilmente retomar mesmo comando.

Costumo usar rsync para a maioria das transferências gerais, não apenas situações em que suas habilidades de sincronização mais completas são realmente necessárias, quando estão disponíveis. Não é menos seguro que sftp se ultrapassar ssh (o que geralmente é) e não menos eficiente.

Eu acho que a principal vantagem de sftp (e o scp relacionado) é que geralmente estão disponíveis em qualquer lugar onde ssh esteja disponível, então qualquer configuração de cliente ou servidor Linux / BSD / similar, enquanto rsync não costuma ser instalado por padrão.

    

Answer 2

scp/sftp/rsync são lentos quando se trata da transferência real de arquivos, mesmo em Nehalems, já que a criptografia é um fardo bastante pesado. Além disso, tenho a impressão de que scp/ssh definem suas próprias opções de soquete mágico, como o tamanho da janela TCP, e são sempre lentas (chegando a 50-70MB / s em caminhos locais 10Gbps).

Especialmente para arquivos maiores e WANs, isso está me enlouquecendo, não entendo por que alguém acha que ele é mais inteligente do que a pilha TCP subjacente do SO.

Eu examinaria o GridFTP do Globus Toolkit (que é o FTP em esteróides), que usa sessões TCP paralelas / de fluxo múltiplo para transferências em massa e também é perfeitamente ajustado pela WAN. Você pode fazer o backup do GridFTP com uma PKI completa ou usar o ssh para credenciais e início de sessão. Executa a velocidade do fio em 10 Gbps e pode ser dimensionada e balanceada, se necessário, mas isso é realmente algo necessário para TBs de dados.

edite: Sim, há patches SSH que corrigem as opções de janela e introduzem um código nulo para a transferência e usam criptografia apenas para troca de chaves e credenciais, mas é necessário ter os dois terminadores da conexão para que o SSH seja construído para aproveitar ao máximo.