Solução para backup, versionamento e replicação de dados de arquivos

Question

Temos um conjunto crescente de arquivos de dados (arquivos .wav, arquivos de imagem, etc.) que são dados, ou seja, não fazem parte do código do aplicativo - enviados e modificados pelos usuários. O número de arquivos está nos 1000s e o tamanho total atinge GBs.

Temos vários clusters de servidores em diferentes locais ao redor do mundo (EUA, UE, ME). Em cada cluster, é importante que os dados sejam exibidos localmente e não no S3 (os arquivos de dados não são exibidos diretamente aos clientes, mas são processados pelos servidores). Queremos designar um servidor de arquivos em cada local que servirá os arquivos via NFS para os outros nós no mesmo cluster.

Então, a questão é:

• Os arquivos enviados por meio do aplicativo devem acabar em S3 .
• Cada nó do servidor de arquivos deve replicar esses arquivos.

Nós vemos várias opções:

• Usando um servidor de arquivos origin que replica para S3 para backup / controle de versão e para os nós por meio de rsync (ou similar).
• O mesmo que acima, mas os escravos replicam de S3 usando algo como a ferramenta S3 ou similar.
• Não usando um origin - o código do aplicativo é enviado diretamente para S3 e os escravos são replicados como acima.

Estávamos nos perguntando qual é a solução recomendada e quais ferramentas estão disponíveis para a parte de replicação (ou seja, na categoria de sistema de arquivos para sistema de arquivos e na categoria de sistema de arquivos / S3).