nas questões relacionadas ao tamanho do TeraByte versus energia da CPU para armazenamento básico de dados

Question

existe uma relação entre o espaço de armazenamento e o número de CPUs necessárias para lidar com isso? se eu tenho 100GB de dados por noite chegando através de um pipe de gordura remotamente de 50 sites diferentes para que o total de dados em um período de 18hr seja de 100GB, e eu quisesse ter um NAS de 20TB ou sistema de armazenamento recebendo, o servidor NAS precisa ter, por exemplo, 1 xeon ou deve ser uma cpu dupla com multi core etc

a finalidade do NAS é a redundância de dados no campo. Suponha que não haja problema de largura de banda e que usemos cachimbos para mover os dados, minha preocupação é a conexão simultânea de instâncias geográficas separadas de 2 GB de dados provenientes de 50 a 100 sites separados. Eu não quero ter problemas de leitura / gravação ou falta / falha de uma sincronização.

Eu preciso de uma direção para começar a testar com essa ideia, por isso, se eu tiver que mover muitos dados para um servidor NAS todas as noites.

se for uma questão muito vaga, posso elaborar mais, obrigado.

    

Answer 1

A capacidade de processamento necessária para lidar com armazenamento depende de muitos fatores. Atualmente, o processamento de armazenamento é um processo distribuído. Mas os vários lugares onde o processamento é encontrado:

• O protocolo de compartilhamento de arquivos . SMB, AFP, NFS e iSCSI, todos têm seus próprios impactos no carregamento. A qualidade de código também tem um impacto significativo; um Mac pode escalar o AFP mais do que um NAS baseado em Linux usando o pacote netatalk para suporte AFP. 3.0 O Samba se comporta pior que o Samba 3.6.
• As rotinas de E / S do kernel . Alguns kernels lidam com E / S com mais eficiência do que outros. Um kernel Linux 2.6.4 não se comporta tão bem quanto um 2.6.28, ou 2.6.36.
• Software vs. Hardware RAID . Se estiver usando uma invasão de paridade de software (R5 ou R6), a CPU envolvida nas operações de E / S poderá ser significativa. Mas se você está usando striping (RAID1 ou RAID10, ou RAID0 não recomendado), ele apenas contorce a agulha. Se você estiver usando o RAID de hardware, eles geralmente são muito reduzidos antes de atingir limites, mas, nesse ponto, o carregamento de CPU não importa muito.
• Pilha de rede . Drivers Crappy NIC podem causar picos de CPU. Difícil de prever.

Todos os itens acima fornecem o múltiplo de processamento aplicado às solicitações de armazenamento de entrada. Fazer 6,2 MB / s de E / S de gravação pura colocará uma certa carga, mas o intervalo de carregamento experimentado por um sistema pode passar de insignificante a esmagamento, dependendo de como todos os fatores acima são eliminados.

Por exemplo, o Windows Server 2008R2 em hardware de servidor real com alguns discos em um controlador RAID de hardware pode consumir 6,2 MB / s durante o dia e a noite e dificilmente suar (mostrando maus drivers), mesmo em 64 anos relativamente antigos. -bit CPUs Pentium 4. Um FreeNAS baseado em um processador Core2 fazendo a mesma taxa de gravação sobre o AFP pode não ser capaz de acompanhar.

O que é uma maneira longa de dizer que os terabytes armazenados são um preditor muito pobre de carregamento da CPU.

    

Answer 2

A relação não seria tanto um espaço puro: a questão da cpu. Dependendo da solução que você está mirando, você pode precisar de energia da CPU para recursos como deduplicação, compactação, criptografia ou cálculos de hash / checksum.

Um simples processo de cópia de dados não implicaria em muita sobrecarga da CPU, a menos que você tenha um sistema realmente mal projetado. Sua necessidade de 100 GB por 18 horas seria em média de 1,58 MB / segundo - até mesmo um netbook seria capaz de lidar com os dias de hoje.

Você também deve se concentrar no back-end de E / S que está usando. Embora escrever 1,58 MB / segundo não pareça muito desafiador, usar 50 a 100 processos simultâneos para fazer isso resultará em muita carga de gravação aleatória. Discos rígidos não lidam bem com cargas aleatórias (write), já que eles incorrem em muitas buscas de tempo, portanto, você precisará ter algo que amortece a aleatoriedade - como um cache de gravação DRAM ou SSD.