Opções para armazenamento de arquivos escalável (Windows Server)

Question

Atualmente, temos um servidor Windows que armazena imagens para um projeto da web. O projeto foi realmente bem-sucedido e estamos vendo problemas de desempenho e obviamente ficaremos sem espaço no futuro com as atuais 100k ou mais imagens que armazenamos (no disco local).

Os servidores são máquinas dedicadas hospedadas em um data center no Reino Unido, que opções estão disponíveis para armazenamento de arquivos escalável (Idealmente, podemos colocar no mesmo centro de dados que as imagens precisam ser acessadas com freqüência).

    

Answer 1

Para armazenar seus dados adequadamente, é necessário usar alguns softwares adicionais, já que os Serviços de Arquivo e Armazenamento nativos que saem da caixa não são capazes de consolidar o armazenamento em dispersão de conjunto único e replicar os dados entre hosts para alcançar mais redundância e desempenho.

O DFS tem muitos problemas, como não ter a mecânica de "bloqueio" de armazenamento adequada, potencialmente levando a um cérebro dividido no caso de isolamento de rede, não é possível replicar arquivos abertos e sua mecânica é incapaz de distinguir qual réplica é " correto ", isso pode levar a alguns problemas em ambientes com vários servidores.

Você não pode reduzir a quantidade de dados, pois os dados de mídia têm alta entropia e a desduplicação / compactação não funciona e aumentar a quantidade de armazenamento em um único servidor também é uma má ideia, pois se esse servidor falhar, você (temporário) perder todos os dados.

Para transformar seus servidores existentes baseados no Windows em servidores de armazenamento escaláveis que criam uma única opção de pool de armazenamento compartilhado, estaríamos usando algumas soluções de armazenamento definidas por software que podem ser instaladas e executadas diretamente no sistema operacional Windows:

1) StarWind VSAN link

Como alternativa, há boas opções que são executadas como máquinas virtuais sobre a função do Hyper-V instalada:

2) link

do HP VSA

3) EMC Unity VSA link

Se você está certo em investir na edição do Windows Server 2016 Datacenter, talvez esteja interessado em

4) Espaços de Armazenamento Diretos link

Se o Windows não é crucial, você deve definitivamente dar uma olhada em:

5) Ceph link

    

Answer 2

Não há solução fácil além do que o Windows oferece fora da caixa (atual e você tem que realmente RTFM).

O problema é que você realmente não quer uma loja. E você começa a distribuir as imagens em diferentes pools de armazenamento? Em seguida, você pode adicionar pools adicionais, conforme necessário. Você obviamente precisa manter um banco de dados do que está lá.

A principal vantagem desta abordagem é que, enquanto você PODE manter um espaço de armazenamento terrivelmente grande sincronizado e fazer backups nele - é muito mais fácil se você pode manter esse baixo em tamanho.

Agora, obviamente, para cada um desses shards você pode usar algo como espaços de armazenamento com replicação DFS ou um espelhamento de nível inferior (espaços de armazenamento diretos). Isso praticamente faz com que qualquer hardware SAN pareça uma escolha realmente boa (e os custos de licenciamento para projetos da Web não são tão altos considerando os preços do SPLA).

Mas, mesmo assim, você vai encontrar um problema em um ponto, fragmentando o nível lógico.

Ah, e compre o hardware adequado. O SuperMicro tem alguns casos realmente bons para armazenamento intensivo. Você fala de disco rígido interno? Que tal um case de 2RU com espaço para 80 discos;)