Atendendo meio milhão de imagens com redundância

Question

Estou tentando dividir nossa funcionalidade de exibição de imagens do nosso servidor principal. Temos quase meio milhão de imagens - qualquer uma delas pode ser acessada a qualquer momento. Eu tenho investigado usando um cluster W2k8 conectado a uma SAN iSCSI e queria saber se existe uma maneira melhor de fornecer uma maneira redundante de servir grandes quantidades de imagens? Foi sugerido que perder a SAN e ter uma cópia das imagens em cada servidor de arquivos seria uma solução melhor - esse é o caso? O sistema operacional deve ser baseado no Windows.

Obrigado,

Andrew

    

Answer 1

Uma SAN significa que você obtém mais armazenamento para um determinado número de discos.

Por exemplo Se você tem 2 discos 1G espelhados em 10 hosts, isso significa que você pode armazenar aproximadamente 1G de imagens que você pode armazenar.

OTOH se você tiver os mesmos 20 discos 1G em uma SAN espelhada, poderá armazenar aproximadamente 10G de imagens.

Ainda melhor - você tem esses 20 discos em dois compartimentos de san espelhados em dois locais, por exemplo, 10 disco no site Um disco de 10 no site B, e A e B são espelhos, então você ainda obtém seu 10G de armazenamento, mas aumenta a resiliência de seus dados.

Ou seja. o site A pode ficar inativo e você ainda pode estar veiculando dados do site B. (na verdade, você provavelmente teria 9G, ou seja, 9 discos ativos e um disco hot spare em cada compartimento san).

Se você também distribui seus servidores 5 em cada site, também aumenta a resiliência de todo o site. Se o site A cair, você perderá 5 dos seus servidores, mas os outros 5 continuarão sendo veiculados e você ainda terá acesso a todos ou a seus dados.

Você também remove a necessidade de sincronizar os dados nos 10 servidores com um src definitivo de imagens. Dependendo de como você planeja fazer backup, os backups podem ser mais fáceis com o SAN, já que você só precisará fazer um backup de dados.

A única razão pela qual posso ver por perder a SAN é se você não puder pagar por ela e / ou se suas necessidades de dados são pequenas e você não prevê que elas crescerão muito.

Quanto mais dados você tiver, mais suas economias devem ser com a abordagem de SAN, já que os gabinetes de SAN ficam mais baratos por G quanto mais bandejas / discos você pendurar deles.

Se você for iSCSI, certifique-se de ter uma VLAN dedicada e switches idealmente dedicados para sua rede iSCSI.

    

Answer 2

Poderia sugerir que você acessasse o Amazon S3 para hospedagem de imagens? Dependendo da sua largura de banda, o armazenamento e a hospedagem são baratos e eu acho que seria muito mais confiável e econômico do que ter seu próprio SAN redundante e sistema de distribuição. Existem muitos sucesso histórias .

Eu sei que você diz que o sistema operacional deve ser baseado no Windows, mas não seguro de seus requisitos, já que a interface do S3 está no Windows.

    

Answer 3

Você pode achar que um armazenamento de arquivos distribuído é um método melhor para armazenar um grande número de arquivos de forma redundante. Geralmente, eles envolvem uma API especial para armazenar e acessar os arquivos, em vez de usar operações de arquivo padrão. O sistema de armazenamento é responsável por armazenar seus arquivos de forma redundante. O exemplo clássico é o Amazon S3, mas isso provavelmente não seria a solução ideal para você. Existem vários produtos que podem ser usados. Eu não usei nenhum produto Windows, mas você pode olhar para o haystack do Facebook, que pode ser escrito em Java, então poderia rodar no Windows. MogileFS do Livejournal é outro exemplo, mas que roda em Perl e da última vez que eu olhei, tinha um único ponto de falha. Tenho certeza que você pode encontrar facilmente vários outros produtos similares.

    

Answer 4

Depende muito de quais são seus objetivos.

Um cluster tornará as imagens altamente disponíveis, mas não aumentará necessariamente o desempenho.

Usando a Replicação DFS, você pode tornar suas imagens Ally Available e Geograficamente carregadas, o que proporcionará MUITO desempenho aprimorado em uma empresa global. (É assim que a Microsoft lida com o compartilhamento de software) No entanto, se as imagens mudarem muito, a replicação DFS poderá ficar um pouco atrasada.

Você também pode usar vários clusters com carga balanceada por meio de um cluster NLB.

E, em seguida, você poderia ir além de usar uma combinação de cluster de failover, NLB e DFS !!!

Tudo depende de quais são seus objetivos.

    

Answer 5

No nosso caso, compartilhamos nossos arquivos diretamente da SAN. Nosso storage array da NetApp é um cluster 3020 que também atua como um servidor de arquivos CIFS. Os arquivos vivem diretamente na SAN e são compartilhados com os clientes. Não tenho certeza se seu projeto está no mercado para uma solução como essa, mas uma SAN com compartilhamento CIFS foi uma grande vantagem para nós.