MogileFS / GlusterFS / etc + Amazon EBS + Amazon EC2

Question

Eu tenho uma aplicação web que serve arquivos binários (imagens, etc). Nosso aplicativo é executado no Amazon EC2 . Nós originalmente íamos usar o Amazon S3 para armazenar e servir esses arquivos, isso não é mais uma opção.

Precisamos transferir esses arquivos por HTTPS usando uma CNAME . Obviamente, isso é impossível com o Amazon S3 por vários motivos técnicos. A Amazon oferece Elastic Block Storage (EBS) , que permite montar um bloco de até 1 TB em tamanho para um instance. Teremos várias instâncias acessando esses dados em paralelo.

O que eu estava pensando é usar um sistema de arquivos distribuídos como MogileFS / GluserFS / [inserir mais aqui] com Armazenamento em bloco elástico ( EBS) .

Então, minha pergunta é: O que outras pessoas estão fazendo atualmente para criar um sistema de armazenamento de arquivos escalável (alguns 100 TBs) sobre Amazon EC2 sem usar Amazon S3 isso é redundante? Os dados ainda serão armazenados em backup no Amazon S3 , mas todas as leituras estarão fora do sistema de arquivos.

Obrigado em adiantado. Se alguém precisar de esclarecimentos sobre qualquer coisa, por favor sinta-se à vontade para perguntar.

    

Answer 1

No Azouk (anteriormente ligado ao domínio dormant / estacionado) não usamos o Amazon EC2, mas usamos o GlusterFS (1.4.0qa92) para servir todo o conteúdo, como PDFs, arquivos do usuário, miniaturas e também para análise de dados offline. IMHO não deve haver problema em implantar a mesma arquitetura na nuvem da Amazon - nós já usamos strongmente a virtualização (OpenVZ em particular). A única restrição potencial é montar o GFS via fusível (a virtualização poderia proibir isso), mas o AFAIK é possível na Amazon.

Então, eu recomendo o Gluster e desculpe, eu não posso ajudar especificamente com a Amazon:)

    

Answer 2

Uma pergunta terrivelmente antiga que repentinamente brilhou no frontpage de novo ...: -)

So my question is: What are others currently doing to create a scalable (a few 100TBs) file storage system over Amazon EC2 without using Amazon S3 thats redundant?

Nada, na AWS, você usaria o S3 para armazenamento de BLOB de 100 TB, qualquer outra coisa seria sem sentido.

We need to transfer these files over HTTPS using a CNAME. This is obviously impossible with Amazon S3 for many technical reasons.

É verdade, mas é possível por outros meios.

Como você precisa de acesso HTTPS em seu próprio nome de domínio, você configuraria alguns servidores HTTPS (ou proxies) nos nós do EC2, para agir como gateways de criptografia / descriptografia SSL entre a Internet e o S3.

Eu nunca trabalhei com o Servidor de Tráfego Apache (anteriormente Inktomi), mas parece um ótimo ajuste para isso. Caso contrário, o nginx ou o Apache podem ser usados para o manuseio de SSL, juntamente com o Squid ou o Varnish, se você quiser fazer cache.

Em alto nível, a solicitação-resposta é algo assim:

Internet request via https -->
(optional) Elastic Load Balancing -->
EC2 instance with SSL capable HTTP proxy (fx nginx) -->
plain unencrypted http to S3

Além disso, você precisará de uma maneira determinística de lidar com a regravação de URL. Fx https://secure.yourdomain.com/<id> é reescrito para http://<bucket>.s3.amazonaws.com/<id>

    

Answer 3

Eu sei que Acquia corre Gluster no EBS com EC2. Então, tecnicamente, parece funcionar.

    

Answer 4

Atualmente, estou trabalhando na criação de um sistema de arquivos em cluster replicado com base no Gluster 3.1 e no EBS, com acesso via cliente FUSE.

Se você tem um investimento substancial em um aplicativo da web que possui muitas chamadas de arquivo e deseja fazer upgrade para acessar vários servidores de aplicativos com carga balanceada e criar um armazenamento replicável escalável sem reescrever todos os arquivos código de acesso, parece que esta é praticamente a sua única opção simples.

Ainda não concluí o projeto, por isso não tenho muito feedback sobre um resultado final. Existe um tutorial simples aqui