ZFS e SAN - melhores práticas?

Question

A maioria das discussões do ZFS sugerem que o RAID de hardware seja desativado e que o ZFS deve falar diretamente com os discos e gerenciar o RAID no host (em vez do controlador RAID).

Isso faz sentido em um computador com 2-16 ou até mais discos locais, mas e num ambiente com uma SAN grande?

Por exemplo, a empresa para a qual trabalho tem o que eu considero ser uma SAN de tamanho modesto com dois racks completos de discos, o que equivale a 400 spindles. Vi estantes de SAN muito mais densas que a nossa e implantações de SAN muito maiores que as nossas.

As pessoas expõem 100 discos diretamente a grandes servidores ZFS? 300 discos? 3000 discos? As ferramentas de gerenciamento de SAN facilitam o gerenciamento automatizado desse tipo de coisa?

    

Answer 1

FWIW Tenho experiência com até 92 discos em um único pool do ZFS e até o momento funciona bem.

Mas se você está realmente falando sobre várias centenas de discos, eu consideraria particionamento deles em um pequeno número de pools disjuntos (mas ainda grandes). Eu não quero saber quanto tempo, por exemplo, um zpool scrub é executado em um conjunto de discos 3000 (mas você deseja esfregar regularmente). Além disso, a saída de comandos como zpool status seria desajeitada com um número tão grande de discos. Então, por que colocar todos os ovos em uma única cesta?

(Nota lateral sobre dedup : observe que, embora a dedução possa ser controlada no nível do conjunto de dados, ela encontrará duplicatas no nível do pool. Provavelmente, você obterá resultados de dedução maiores se estiver particionando Por outro lado, você precisará de muito mais memória para armazenar os hashes de dedup de um único pool gigante que pode não caber em ARC + L2ARC se o pool for muito grande. dedup a quantia de memória disponível é provavelmente um bom indicador para o tamanho de piscina prático máximo.)

    

Answer 2

Deixamos nossas SANs gerenciarem o RAID. Por que gastar dinheiro com toda a bateria suportada NVRAM e os processadores dedicados e, em seguida, descarregar o trabalho para o servidor, cujos CPUs eu quero fazer algo diferente de checksums RAID?

    

Answer 3

Aqui está um site que você pode analisar para considerar o tamanho e a configuração do (s) pool (s) para a probabilidade de perda de dados. link

    

Answer 4

É uma pergunta antiga, mas é apenas relevante hoje como era há 7 anos!

Para responder à primeira parte da pergunta, não estou ciente do que chamaríamos de "SAN" que exporia os discos brutos a um servidor que possa executar o ZFS. Uma SAN, por definição, apresenta apenas armazenamento em bloco (LUNs) ou talvez com algo como um Arquivador / FS apresenta um NFS ou CIFS. Existem algumas "SANs" que realmente executam o ZFS internamente, mas isso é amplamente abstraído - os discos nunca são expostos a um servidor, em vez disso, o componente "Filer" da SAN apresenta sistemas de arquivos em bloco ou de rede para servidores.

Um dispositivo que apresenta os discos brutos (através do SAS ou menos provável do que o FC) é um DAS. Para executar o ZFS, normalmente você estaria dizendo ao controlador RAID para apresentar os discos como um JBOD.

No entanto, você deve usar o ZFS em um LUN apresentado por uma SAN? Possivelmente: O ZFS, por exemplo, EXT4, fornece alguns recursos extras, como scrubs, que verificam somas de verificação ou para executar snapshots. Um scrub provavelmente não pode ser auto-curado da mesma maneira que se estiver fazendo o disco RAID, mas ainda pode alertá-lo sobre corrupção, ajudando a prevenir o bitrot. Os snapshots que você pode criar, por exemplo, um servidor de arquivos SAMBA do Linux são muito superiores ao que você pode fazer com o EXT, e podem até ser expostos no Windows como "Versões Anteriores".

    

Answer 5

Se você não der dados redundantes do ZFS para trabalhar com (por exemplo, espelhos, RAID-Z), você perderá muitos dos benefícios de usá-los. O número de discos envolvidos não mudará esse fato. No entanto, se isso realmente importa depende do seu ambiente. Você precisa determinar quais recursos de armazenamento são necessários (uma análise potencialmente trabalhosa) e, em seguida, procurar a solução menos cara (que você pode pagar) que atenda às suas necessidades. Isso pode significar usar o ZFS em qualquer lugar junto com dispositivos de armazenamento Oracle especializados (algumas pessoas fazem isso e têm muitos discos expostos ao ZFS sem problemas e usam ferramentas Oracle para fazer gerenciamento), isso pode significar usar somente produtos SAN corporativos ou pode significar usar algum híbrido (nesse caso, você provavelmente terá que desenvolver algumas ferramentas e processos por conta própria para gerenciar o ambiente). Não se esqueça de que sua análise também precisa levar em conta o elemento humano (por exemplo, talvez você tenha uma equipe de armazenamento que tenha um treinamento altamente útil e especializado com um produto SAN que você perderia se acessasse uma solução ZFS) .