Transferindo arquivos grandes usando scp com considerações de CPU e memória

Question

Eu quero transferir um arquivo arbitrariamente grande (digamos > 20 GB) entre dois servidores. Eu tenho várias considerações:

• Deve usar a porta 22 (ssh) devido a restrições de firewall

• Não é possível taxar a CPU (servidor de produção)

• Eficiência de memória

• Preferiria uma verificação de soma de verificação, mas isso poderia ser feito manualmente

• O tempo não é da essência

Gostaria de receber uma resposta para vários cenários:

1. O servidor A e o servidor B estão na mesma rede privada (compartilhando um comutador) e a segurança de dados não é uma preocupação

2. O servidor A e o servidor B não estão na mesma rede e a transferência será via Internet pública, por isso a segurança de dados é uma preocupação

Meu primeiro pensamento foi usar nice em um comando scp com um cypher sem uso intensivo de CPU (blowfish?). Mas eu pensei em me referir à comunidade da SU para recomendações.

    

Answer 1

scp deve funcionar bem. Em um ambiente de internet, a velocidade geral geralmente será determinada mais pela rede do que a criptografia feita pelo programa scp. Na rede privada, seu plano de usar o blowfish para facilitar o carregamento da CPU é bom. Pessoalmente, eu não usaria o comando nice a menos que sua carga de CPU de produção já seja alta. A maioria dos servidores é IO limitada, não tem CPU limitada - mas você conhece seu sistema melhor do que eu. E definitivamente faça um checksum md5 ou sha256 no resultado.