Quão importante é a regra de 1 GB de RAM por 1 TB de espaço em disco para o ZFS?

Question

Estou planejando construir minha primeira caixa NAS e atualmente estou considerando FreeNAS e ZFS para isso. Eu li em ZFS e seu conjunto de recursos parece interessante, embora eu provavelmente só use uma fração dele.

A maioria dos guias diz que a regra prática recomendada é que você precisa de 1 GB de RAM (ECC-) para cada TB de espaço em disco no pool. Então, minha pergunta é, qual é o impacto real (esperado) em ignorar essa regra?

Aqui está uma configuração de alguém que construa um NAS 71 TiB com ZFS e 16 GB de RAM . Segundo ele, a corrida é como um encanto. Ele usa o Linux no entanto (se isso faz diferença).

Então, aparentemente, você não precisa de 96 ou mesmo 64 GB de RAM para rodar um pool tão grande. Mas a regra deve estar lá por um motivo. Então, o que acontece se você não tiver a quantidade recomendada de RAM? É apenas um pouco mais lento ou você corre o risco de perder dados ou acessar seus dados apenas em ritmo de caracóis?

Eu percebo que isso também tem muito a ver com os recursos que serão usados, então aqui estão os parâmetros que estou considerando:

• É um sistema doméstico
• 16 GB de RAM ECC (o máximo suportado pela configuração que tenho em mente)
• Sem deduplicação, sem ZIL, sem L2ARC
• Provavelmente com a compactação ativada
• Armazenará principalmente arquivos de mídia de vários tamanhos
• Provavelmente executará serviços bit torrent ou similares (freqüentes leituras / gravações menores)
• 4 discos, provavelmente 5 TB cada
• A configuração real do pool provavelmente fará parte de outra pergunta, mas acho que não RAIDZ (embora eu estaria interessado em saber se isso realmente faz diferença nesse contexto), provavelmente dois pools com dois discos cada (para armazenamento netto de 10TB) , um atuando como backup

Answer 1

A única razão pela qual você precisaria usar essa proporção de RAM para o espaço de armazenamento seria se você decidisse usar a deduplicação de dados. Não diz que a relação de 1 GB para 1 TB é um requisito.

De acordo com um wiki:

Effective use of deduplication may require large RAM capacity; recommendations range between 1 and 5 GB of RAM for every TB of storage. Insufficient physical memory or lack of ZFS cache can result in virtual memory thrashing when using deduplication, which can either lower performance or result in complete memory starvation. Solid-state drives (SSDs) can be used to cache deduplication tables, thereby speeding up deduplication performance.

Fonte