Ubuntu ZFS ou outra questão de layout do sistema de arquivos

Question

Eu tenho um sistema atualmente configurado como um servidor plex executando o Ubuntu 16.04 LTS. Eu estou no processo de atualização do servidor e estava me perguntando sobre a melhor maneira de layout de sistemas de arquivos. Eu estava pensando em migrar para pools do ZFS, mas não tinha certeza se era ideal.

A máquina atual possui mídia distribuída em vários discos. Unidades de armazenamento Seagate 5400rpm 4x8TB e unidades 4x4TB (alguns tipos diferentes).

Atualmente, eles são montados como sistemas de arquivos separados e metade são usados para fazer backup na outra metade por meio de um script rsync que eu montei.

Uma desvantagem da configuração atual é que preciso fazer uma série de pontos de montagem para a mídia, unidades de filmes, unidade de música e séries de séries de TV em execução e de TV finalizada. Em particular, eu gostaria de consolidar toda a TV juntos, mas atualmente há mais de 8 TB.

A configuração atual é funcional, mas algum tipo de configuração mais consolidada que organizou tudo isso como uma unidade gigante de "mídia" parece uma alternativa atraente.

O arranjo de espelhamento atual é desejável para manter alguma forma e a capacidade de sobreviver a uma falha de unidade é muito mais importante que o desempenho.

Eu também gostaria muito da capacidade de adicionar novas unidades à configuração sem precisar copiar tudo e copiar tudo de volta para uma configuração.

O novo sistema será construído em torno de um processador i5 e 16GB de RAM.

O ZFS parecia que poderia fazer bem o trabalho. A idéia é construir dois pools em uma configuração de espelho (RAID-Z se eu seguir a terminologia corretamente). A dificuldade de qualquer configuração aqui é que eu tenho os espelhos atualmente, mas não posso reutilizar todas as unidades de uma só vez, já que os dados precisam ser movidos para o novo pool em etapas. Uma das outras configurações de RAID ocorreria se eu pudesse estender o disco do pool 1 por vez enquanto copia os dados de fora do pool para ele e, em seguida, adiciono o disco copiado como uma nova unidade no pool.

Existe algo relacionado ao ZFS que o torna altamente inadequado para a tarefa?

As pessoas têm alguma sugestão de como abordariam essa configuração?

É melhor eu continuar com a configuração atual?

    

Answer 1

Atualmente, estou usando o ZFS para este caso de uso (por exemplo, armazenamento do media center). Eu usei isso há vários anos.

Você pode configurar seu ZFS como um espelho:

• Os dados são copiados entre todos os discos no espelho
• O tamanho disponível é o tamanho do seu menor disco
• Assim, você pode imitar um espelhamento RAID normal criando um zpool com espelhos X, cada um contendo dois discos.

Ou como RAID-Z 1/2/3:

• Você pode perder 1, 2 ou 3 discos dependendo do tipo de RAID-Z
• O tamanho do RAID-Z é limitado pelo disco menor, então ter 4x4TB e 4x8TB é equivalente a ter 8x4TB se todos estiverem configurados na mesma uva. Portanto, no seu caso, é recomendável criar 2 diferentes raid-z de 4 discos no mesmo pool.

Além disso, o ZFS não suporta ainda adicionar um disco a um RAID-Z existente . Então, se você criar um RAID-Z de 4 discos, ele nunca poderá conter mais de 4 discos (mas você pode atualizar cada disco para os maiores, por exemplo).

Também é importante saber que requer muita CPU / RAM para operações de leitura / gravação. O ZFS é configurado por padrão para poder usar toda a sua RAM livre menos 1 GB.

Para obter mais detalhes, este documento descreve como o ZFS funciona e o compara com o RAID comum .

NB: Se você pretende usar o ZFS, certifique-se de criar seu zpool com a opção ashift=12 desta forma:

zpool create -o ashift=12 ...

Isso define o tamanho do setor para 4096B em vez do padrão 512B. Isso melhorará muito o desempenho do seu caso de uso.