Sistema de arquivos semelhante a RAID para um conjunto heterogêneo de discos rígidos

Question

Durante os últimos anos, acumulei um conjunto bastante heterogêneo de discos rígidos de diferentes tamanhos e velocidades para armazenar meus dados privados. Estou planejando colocá-los em um arquivador Linux de auto-compilação para reduzir o incômodo de replicar dados locais manualmente, reduzindo arquivos duplicados e melhor utilizar os recursos fornecidos. Também estou esperando que nos próximos anos a minha necessidade de armazenamento aumente. Portanto, deve ser possível adicionar dinamicamente discos e também remover unidades únicas para substituí-los por unidades mais novas e maiores.

Se não me engano, a opção mais comum para criar um arquivador seria usar um RAID (software) para aumentar a confiabilidade e um esquema de backup adicional em unidades externas ou removíveis para evitar a perda acidental de dados importantes.

Como o RAID5 / RAID6 precisa de unidades de tamanho igual, ele não satisfaz minha necessidade de um esquema de adição / remoção de disco mais dinâmico. Então, estou procurando um sistema de arquivos FLOSS ou uma camada de abstração de dispositivo de bloco que forneça:

• adição dinâmica e remoção de discos rígidos possíveis
• replicação / redundância semelhante ao RAID5, talvez ajustável por arquivo ou diretório
• não são necessárias máquinas adicionais (especialmente dedicadas) (mas a possibilidade de adicionar uma segunda máquina mais tarde, se necessário, seria boa, mas não é necessária)

Eu procurei um pouco em sistemas de arquivos distribuídos como o XtremeFS, mas ainda não encontrei um que satisfaça todos os pontos e funcione bem em uma única máquina. Você tem uma ideia do que poderia ser uma solução?

    

Answer 1

Simplificando, acredite ou não, a solução de hardware é mais fácil de reconstruir e mais confiável do que a solução de software, e a solução existente é geralmente menos dispendiosa para implementar .

Construir seu sistema de armazenamento geralmente não é uma boa ideia, a menos que você seja muito versado na área de gerenciamento de armazenamento. Em geral, o antigo ditado "Se você tivesse que perguntar não é para você" se aplica.

Resumindo: eu recomendaria a compra de novos discos rígidos (esses dias são baratos se comparados aos meus dados - se seus dados não valerem a pena comprar um disco rígido nos dias de hoje, Houston tivemos um problema .) e configurar um novo raid5 / 6 para lidar com isso, juntamente com algumas substituições a frio.

Mais importante, observe que o backup e a redundância são duas entidades separadas no gerenciamento de armazenamento. A redundância é para manter o serviço ONLINE em caso de interrupção de uma única peça de equipamento, e o backup é para o caso de a coisa toda falhar. Por exemplo, se a fonte falhar repentinamente e tentar bombear 100V AC para o trilho de 12V (não que isso seja provável, mas ...) esqueça o RAID5, esqueça o RAID6 - tudo acabaria. Você precisará de backups para lidar com essa situação. Para backup, siga estas regras simples:

1. Faça backups off-line
2. Faça backups fora do local
3. Faça backups frequentemente

Boa sorte!

    

Answer 2

Eu examinaria o ZFS. Ele (ou algumas implementações dele) oferece algumas das coisas que você especificamente pede (redundância através de mídia heterogênea, capacidade de lidar facilmente com a perda de um fuso (se existirem dados redundantes)).

O BTRFS está, teoricamente, indo nessa direção, e eu não sei se o ZFS tem os recursos mencionados acima no Linux (ou mesmo no Solaris) neste momento, mas pelo menos é uma avenida de investigação.

Além disso, eu examinaria o LVM e o particionamento de criativos + recursos MD ou LVM para características semelhantes a RAID. O LVM deve permitir que você redimensione partições (elas chamam de outra coisa) sem muita dificuldade. Eu não consideraria isso uma abordagem de baixa manutenção.

    

Answer 3

Deve ser possível (e eu sinto muito, eu não sou muito profundo no LINUX) para construir vários volumes RAID através de um conjunto heterogêneo de unidades de disco; maximizando assim o uso do espaço, mantendo a redundância.

Imagine que você possui drives 3x1TB, 2X2TB e 1 de 4TB. Você pode construir um volume RAID 5 de 5 TB de espaço usando 1 TB de todas as 6 unidades. Você pode construir outro volume RAID 5 de 2 TB usando 1 TB de cada uma das 3 unidades restantes.

No servidor de pequenas empresas do Windows, esses volumes são expandidos; aparecendo como um único volume. Eu gostaria de poder ser mais útil ao fazer uma recomendação específica sobre como fazer isso no LINUX.

Se você adicionar, digamos, outra unidade de 4TB: você poderá aumentar as duas matrizes em 1 TB e adicionar uma matriz de 2 TB usando o espaço de 2 TB disponível em cada uma das unidades de 4 TB.

Quanto ao hardware-vs-software: o hardware é indubitavelmente mais rápido; mas custa mais e, se o próprio controlador de hardware falhar, pode exigir que você encontre um controlador idêntico ou perca todos os dados.

Como sempre: a redundância não é um substituto para backups.