Como organizar o armazenamento de conteúdo de mídia, como vídeo e música?

Question

Atualmente, temos um único servidor que hospeda todo o conteúdo: música, vídeo e software. Este conteúdo é baixado pelos usuários através de HTTP. Agora o espaço livre está chegando ao fim e estamos explorando diferentes maneiras de ampliar nossa capacidade de armazenamento. Queremos fazê-lo barato, simples e confiável (protegido contra falhas de disco / servidor). Currenly, vemos duas maneiras:

1. Adicione alguns servidores baratos com 4 discos (RAID1?), execute alguns sistemas de arquivos distribuídos, como o GlusterFS. Prós: esperançosamente, veremos todos os nossos discos como um único sistema de arquivos simples, apenas despejando conteúdo nele e pronto. Contras: pode ser complicado na configuração e no tratamento de falhas.

2. Adicione alguns servidores baratos, todos executando servidores HTTP. Cada parte do conteúdo (seja um arquivo de música ou vídeo) é colocada em dois servidores selecionados aleatoriamente. Prós: não precisa lidar com o RAID, pois o conteúdo é duplicado; falha de servidor único não reduz qualquer parte do conteúdo; dobrou a capacidade de distribuição (como qualquer arquivo signle pode ser baixado de qualquer um dos dois servidores que o hospedam). Contras: requer alguns scripts em parte da distribuição de conteúdo, adicionando / removendo servidores.

Sentimos falta de outras maneiras? Qual das opções mencionadas parece ser a melhor?

    

Answer 1

Ambas as opções não são realmente baratas se você for para a sobrecarga. Gostaria de ir para (1), mas não com um sistema de 4 discos - eu iria para um caso SuperMicro com 24 discos (!) Em 2 unidades de rack. alimentado por um bom controlador RAID que pode lidar com mais casos. Eu então criaria grupos RAID 5 de 8 discos cada, mantendo os primeiros 8 conjuntos para OS (2 discos, espelho), armazenamento em cache SSD (ok, usando ADaptec Raid Controllers) (2 discos) e hot spares (4 discos). / p>

Dependendo de suas necessidades, você descobrirá que é muito mais barato do que os servidores de baixo custo, onde é necessário outro servidor para cada 4 discos, o que eu acho financeiramente ineficiente e ineficiente.

Isto é, a menos que você espere que seus 4 discos durem para sempre.

    

Answer 2

Nunca pensou em opensolaris e zfs? Você pode exportá-lo via nfs / iscsi / smb, é muito barato construir uma máquina para o opensolaris e o armazenamento é facilmente expansível. Mais uma maneira fácil de fazer backup. Experimente>