Download rápido e seguro do Amazon EC2 / RDS / S3?

Question

Estou baixando descargas de banco de dados periodicamente gzipadas da minha configuração da AWS (aproximadamente 150 MB).

Embora as velocidades normais de download de http / https (via serviço de arquivos Apache) sejam > > 300kb / s, quando uso o scp para fazer o download do lixo, estou obtendo apenas velocidades de 30-50kb / s.

Qual é a razão de ser tão lento?

Como posso baixar arquivos de despejos de banco de dados com mais rapidez?

Obrigado!

    

Answer 1

Eu tive um problema semelhante e, eventualmente, acabou sendo devido ao tráfego do meu provedor de serviços de Internet (ou de alguma forma mexer com) em portas não padrão. Eles aparentemente acham que qualquer coisa que não esteja nas portas 25/80/443 etc é o compartilhamento de arquivos e intencionalmente o atrasa.

Eu sugiro que você tente mudar de provedor, ou primeiramente você também pode tentar configurar o sshd para escutar na porta 443 (assumindo que você não tem um servidor web com SSL naquela máquina) e tente desta forma.

    

Answer 2

Tente alterar o cipher_spec para a sessão scp com -c blowfish-cbc (ou Cifras no seu .ssh/config file ). Isso aliviará ligeiramente a carga de criptografia.

Na minha LAN local, vi um aumento de velocidade de ~ 28MB / s para ~ 35MB / s.

    

Answer 3

Por que não usar o gpg localmente para criptografar os despejos para você mesmo? Então você pode transferi-los via HTTP, ou por FTP, ou publicá-los na usenet, ou fazer o que quiser, sem colocar em risco sua segurança (bem, você provavelmente não deveria publicá-los em alt.binaries).

Eu faço isso com os backups da minha caixa colorida, e então posso armazená-los no armazenamento on-line do meu colo, sem me comprometer. Minha caixa colorida também não precisa da minha chave privada - apenas a pública, para criptografar. Eu faria a descriptografia em casa se a necessidade surgisse.

Se você fizer isso, não se esqueça de desativar a blindagem ASCII para gpg, caso contrário, o arquivo de backup ficará 30% maior do que deveria.

    

Answer 4

Como você já está executando o apache, por que não criar um VirtualHost separado, um certificado autoassinado e adicionar a autenticação básica ao diretório onde os dumps do banco de dados estão localizados? Isso deve permitir que você baixe com segurança arquivos de despejo de banco de dados mais rapidamente. Talvez seja uma solução alternativa, mas deve atingir o objetivo. Dois links úteis são:

link

link