Existe um limite na quantidade de capacidade de armazenamento que uma única máquina física pode ter?

Question

Eu estava lendo sobre o hadoop e fiquei preso nessa linha, "Quando um conjunto de dados supera a capacidade de armazenamento de uma única máquina física, torna-se necessário particioná-lo em várias máquinas separadas."

Então, há uma limitação na quantidade de capacidade de armazenamento que uma única máquina física pode ter? Eu acho que esta questão se enquadra em 'Arquitetura de Computadores', mas eu não li este assunto e estou curioso para saber por que há uma limitação. Por que uma máquina física não pode ter 1 petabyte de dados?

    

Answer 1

A quantidade de armazenamento que você pode anexar diretamente a um servidor é, na prática, geralmente limitada apenas pelo tamanho de sua carteira.

Normalmente, quando você precisa de muito armazenamento para um único servidor, a maioria das organizações tende a ir em direção ao armazenamento conectado à rede / SAN com matrizes e controladores de armazenamento dedicados, em vez de armazenamento direto conectado. Aqueles podem aumentar além do seu 1 petabyte.

Quando você considera o armazenamento anexado diretamente, os limites técnicos para um único servidor são limitados por:

• o número de conectores de disco (isto é, as portas SAS / SATA) na placa-mãe
• o número de controladores de armazenamento adicionais que você pode encaixar na placa-mãe (soquetes PCIe) e o número de dispositivos que cada um pode endereçar (os controladores SAS de ponta podem endereçar até 256 dispositivos cada)
• o número de compartimentos de disco internos que você pode preencher.
• o número de bandejas de unidades externas que você pode anexar e preencher
• os tamanhos das unidades de disco

(É claro que, além de um certo ponto, você não obterá nenhum desempenho adicional adicionando mais capacidade; portanto, há um certo ponto de corte de custo-benefício quando a ampliação não é mais tão eficiente quanto o dimensionamento)

    

Answer 2

Quase todos os tipos de protocolos de armazenamento atuais podem oferecer armazenamento praticamente ilimitado. O tamanho físico pode exceder rapidamente a capacidade de um único servidor, mas você pode estender a instalação física para prateleiras de rack adicionais ou até mesmo concluir racks. A palavra mágica é SAN (rede de área de armazenamento).

• O SAS pode usar expansores para acessar 16 mil unidades físicas (possivelmente mais) ou unidades lógicas (consulte LUN abaixo).
• O Fibre Channel pode usar switches para acessar 16 milhões de unidades físicas ou LUNs; cada LUN pode consistir em um grande número de unidades.
• O iSCSI praticamente suporta 16 milhões de destinos (rede 10.0.0.0/8 privada), cada um com 256 LUNs, cada um deles consistindo em um grande número de unidades. Você também pode usar todo o intervalo de endereços IPv4 para 4 bilhões de destinos ou números completamente ridículos usando o IPv6 (340 undecillion ou 3,4 * 10 ³⁸ ).
• Até o SATA pode ser usado com multiplicadores de porta para 15 unidades por porta e você pode adicionar controladores para obter muitas portas.

É apenas uma questão de orçamento para comprar e conectar 1 petabyte de armazenamento. Ou 10 petabyte. Ou 100. Ou ...

No entanto, você normalmente não conecta muito armazenamento a um único nó. Devido a questões de disponibilidade e escalabilidade, grandes capacidades de armazenamento são rotineiramente compartilhadas entre um grande número de nós ou VMs. Todas as tecnologias atuais de armazenamento corporativo permitem o compartilhamento, e a distinção entre armazenamento conectado diretamente e armazenamento em rede é mais uma implementação do que tecnologia.