Estou trabalhando em um aplicativo que requer uma grande quantidade de espaço de armazenamento e quero manipular o armazenamento 'in-house' (muito mais barato do que, digamos, S3), por isso teremos vários servidores (Inicialmente 4) com grande quantidades de armazenamento (6 TB cada).
O armazenamento precisará ser muito flexível e configurável, cada parte dos dados deve ser replicada em pelo menos 2 servidores e deve ser facilmente legível / gravável a partir de uma API de um dispositivo / arquivo / pasta UNIX como uma unidade normal, Eu não me importo com qual. Devemos também ser capazes de facilmente descarregar conteúdo para o nosso CDN HTTP (Edgecast), ele não precisa ter suporte HTTP embutido, mas se não for, eu vou ter que escrever algo para colocar os arquivos em HTTP, então eles podem ser puxados pelo CDN.
Eu já vi muitas soluções, incluindo
Todos os servidores estarão executando o RHEL 6, eles têm unidades de 4x1.5TB que serão RAID1 em uma única partição. Todos os servidores têm conexões de 1GB / s entre eles e conexões de 100MB / s à Internet com largura de banda ilimitada. Eles têm processadores 2x2.66ghz.
Eu entendo que não há uma resposta única e perfeita, mas seria bom receber algumas dicas.
Frequentemente nos perguntam coisas semelhantes a isso, eu estou surpreso que nenhuma dessas perguntas anteriores tenham aparecido na pesquisa quando você fez isso,
De qualquer forma, eu normalmente recomendo o GlusterFS ou o Lustre, mas há muitos outros sistemas de arquivos distribuídos para escolher.
Como você já é uma loja de RH, a classe Gerenciamento e Armazenamento de Clustering e Armazenamento do Red Hat Enterprise pode ser bastante útil .
Seria bom se você pudesse compartilhar um pouco mais sobre sua carga de trabalho de armazenamento. Dependendo se você precisa de baixa latência ou grande armazenamento de conteúdo, isso pode levar a diferentes soluções de armazenamento. Para uma opção de armazenamento de conteúdo, consulte as soluções de armazenamento de objetos. (mesmo esses podem ser subdivididos - se você precisar reter dados por um longo período e não ler com muita frequência, considere soluções que suportem a codificação de eliminação). Se você precisar de baixa latência, consulte os sistemas de arquivos de armazenamento baseados em host em cluster - de preferência em conjunto com o flash no host. Observe que é possível também observar o armazenamento de objetos em conjunto com a aceleração do cache flash no host.
Tags storage linux redhat cloud-storage