Como posso sincronizar arquivos entre minha estação de trabalho e o EC2 sem precisar registrar meu EC2 manualmente todas as vezes?

Question

Eu quero fazer algo que pareça simples, mas nenhuma das opções que encontrei está correta (por exemplo, o Dropbox).

A pergunta é: que serviço de sincronização em nuvem posso usar para sincronizar uma pasta em minha estação de trabalho com o sistema de arquivos em uma instância do EC2? Observe estes requisitos:

• Deve ter uma instalação e configuração autônoma / com script que acontece no init do EC2 (já que as instâncias do EC2 são efêmeras)
• E, portanto, só pode depender de variáveis de ambiente do EC2 para quaisquer credenciais de instalação de serviço
• O serviço no EC2 precisa de sincronização recursiva, somente leitura (não é um download simples; há muitos arquivos para simplesmente baixar um arquivo de diretórios e expandi-lo periodicamente).
• A estação de trabalho e o EC2 estão sendo sincronizados com um repositório de nuvem de origem compartilhado, como o Dropbox, já que essa estação de trabalho nem sempre está disponível / acessível ao público
• O aplicativo na minha instância do EC2 é nodeJS, pelo que vale a pena!

O cliente Dropbox Linux, por exemplo, (ou bibliotecas nodejS que eu encontrei) requerem instalação assistida, para visitar uma URL do Dropbox toda vez que a instância precisar registrar seu cliente Dropbox. O mesmo é verdadeiro para a sincronização Bittorrent, exigindo visitas um URL de host local para vincular-se a dispositivos.

Mesmo se outra pequena instância do EC2 for sincronizar o Dropbox, por exemplo, com o Elastic File System. Pode ser mais duradouro, mas ainda é efêmero e precisa de uma instalação autônoma do script de inicialização.

Obrigado antecipadamente.

    

Answer 1

Veja o rsync. Ele pode sincronizar dados em qualquer plataforma e pode usar o ssh para efetuar login e transferir a criptografia. E você não está usando nenhum serviço de terceiros.

    

Answer 2

Você pode usar um script do Dropbox Uploader para enviar dados em qualquer direção. Não é necessário que você faça login manualmente toda vez que quiser fazer isso. Minha instância do Amazon Linux EC2 faz um backup e usa esse script para enviá-lo para o dropbox todas as noites.

Você também pode executar Bittorrent Sync no Unix ( segundo link ). Isso espelha constantemente os dados de uma máquina para outra e, claro, você pode ligá-los e desligá-los conforme necessário. Descobri que isso funciona bem no Amazon Linux no EC2, mas parei de usá-lo porque o Dropbox era mais conveniente para o meu caso de uso.

Atualizar - você também pode usar o cliente oficial do Dropbox para Linux , que Faz algo como rsync para dropbox. Há mais informações sobre essa abordagem aqui .