Existe um sistema SAN / Storage distribuído por aí? [fechadas]

Question

Como em muitos outros lugares, pedimos aos nossos usuários que não salvem arquivos em suas máquinas locais. Em vez disso, incentivamos que eles sejam colocados em um servidor de arquivos para que outros (com as permissões apropriadas) possam usá-los e que os arquivos sejam armazenados em backup corretamente.

O resultado disso é que a maioria dos usuários tem grandes discos rígidos que estão basicamente vazios. É 2010 agora. Certamente existe um sistema que permite transformar esse espaço vazio em uma SAN virtual ou biblioteca de documentos?

O que eu imagino é um programa cliente que é enviado aos PCs dos usuários que coordena com um servidor central. O servidor olha para os usuários como um servidor de arquivos normal, mas em vez de manter todo o conteúdo do arquivo, ele meramente mantém um registro de onde esses arquivos podem ser encontrados entre os vários PCs do usuário. Em seguida, coordena com os clientes certos para atender às solicitações de arquivos. O software cliente seria capaz de responder diretamente a tais solicitações, bem como ser inteligente o suficiente para armazenar em cache arquivos recentes localmente. Para redundância, o servidor pode garantir que os arquivos sejam copiados para vários PCs, talvez permitindo que você defina grupos em locais diferentes para que uma instância de todo o repositório viva em cada grupo para proteger contra um desastre em um prédio. p>

Obviamente você não apontaria seu servidor de banco de dados aqui, mas para coisas mais simples eu vejo várias vantagens:

• Os arquivos geralmente podem ser transferidos de uma máquina mais próxima (ou local ).
• Distribuir conectividade de rede, em vez de aglomerar todas as transferências de arquivos em uma única conexão
• O espaço em disco cresce automaticamente como sua empresa faz.
• Deve ser mais barato, pois você não precisa manter um conjunto separado de discos

Eu também vejo algumas desvantagens:

• Degradação ocasional do desempenho do PC do usuário, se a máquina tiver que atender ou aceitar uma grande transferência de arquivos durante um período ocupado.
• As gravações têm que ser propagadas em torno da rede várias vezes (embora eu suspeite que isso não seja realmente um grande problema, pois a leitura acontece na maioria dos lugares mais do que na escrita)
• Ainda é necessário enviar uma cópia completa dos dados externamente, o que dificultaria muito a realização de diferenciais

Pense nisso como um sistema de armazenamento em nuvem que vive inteiramente dentro de sua LAN corporativa e faz uso de seu equipamento de usuário existente.

Nosso antigo servidor de arquivos principal deve ser retirado em cerca de 2 anos, e estou tentando substituí-lo por uma pequena SAN. Nosso servidor de arquivos atual está usando cerca de 400 GB de um compartilhamento de 1 TB. Nós só mantivemos isso baixo porque nosso espaço de backup era limitado. Eu estou olhando para expandir para pelo menos 4 TB de espaço utilizável quando for substituído, talvez muito mais se os preços caírem tanto quanto eu esperava. Estou pensando que algo assim seria um ajuste melhor. Como escola, temos alguns laboratórios de informática que posso deixar funcionando, o que seria perfeito para adicionar um pouco de redundância extra a esse sistema.

Com pouquíssimas exceções, nossos usuários estão preenchendo menos de 40 GB de seus discos rígidos de 120 GB, o que significa que eu poderia facilmente reservar 65 GB por máquina. E isso só vai aumentar, pois novas máquinas estão chegando com drives de 250Gb e até mesmo aquelas podem facilmente ser maiores em breve. No momento em que o servidor de arquivos é substituído, dado o nosso cronograma de substituição de desktops, eu esperaria que tal sistema permitisse 5 TB de armazenamento utilizável, mesmo permitindo redundância e histórico.

Infelizmente, a coisa mais próxima que eu posso encontrar é Dienst , e é apenas um artigo que remonta a 1994. Am Acabei de usar as palavras-chave erradas nas minhas pesquisas, ou isso realmente não existe? Se não, há uma grande desvantagem que estou perdendo?

    

Answer 1

Parece-me que você está descrevendo AFS , cuja implementação mais comum é OpenAFS . Os principais conceitos do OpenAFS são descritos aqui: link .

AFS é:

• Distribuído. Várias máquinas do sistema de arquivos, mas ainda usando um namespace unificado, de modo que a natureza distribuída é transparente para a máquina cliente.
• Redundante. Os arquivos podem existir em vários nós do servidor de uma só vez, portanto a perda de vários nós do servidor não resulta em inacessibilidade de quaisquer dados.
• escalável. Aparentemente, algumas implementações "Enterprise" abrangem até 25.000 nós.

Answer 2

Sim, os discos grandes em sistemas de desktop de usuários finais tragicamente não são usados quando você usa adequadamente o armazenamento centralizado. Ah bem. Algumas desvantagens de usar um NAS distribuído em rede de área de trabalho hipotética:

1. Ele teria que lidar com a degradação causada pelo desligamento das máquinas do usuário. Alguém não veio hoje e a máquina está desligada? É melhor esperar que os documentos lá contidos sejam distribuídos na (s) máquina (s) ativada (s). Alguém está trabalhando até tarde hoje e a máquina deles é a única que está ligada? Sorte, desculpe. A menos que você também tenha tudo copiado para um servidor de arquivos real - e então, o que você ganhou?

2. Tudo teria que ter uma boa criptografia - caso contrário, os documentos do chefe que contêm seu plano para sacar, ou o documento de RH que mostra o salário de todos, são replicados para a máquina do caixa de correspondência de Jimmy. Em qual ele corre o LimeWire. Veja onde isso está indo?

Answer 3

Algo como CleverSafe (tem versões de código aberto e comercial) pode basicamente fazer o que você quer, mas gerenciar nós muito confiáveis podem ser um problema. O CleverSafe lida com interrupções de vários nós, mas talvez não seja rápido o suficiente para o tipo de "constante rotatividade" de nós que você veria usando os desktops como nós de armazenamento.

Eu acho que existem soluções similares de trabalhos acadêmicos que eu li no passado, mas o CleverSafe parece ser um produto real e não apenas um protótipo. A empresa existe desde 2004.

    

Answer 4

SANsymphony 7.0 Storage Virtualization Software

abaixo é citado em seu website:

Principais recursos

-Device independente pooling de disco virtual, espelhamento síncrono (HA), cache de alta velocidade, replicação remota assíncrona, thin provisioning, auto-classificação por níveis, instantâneos on-line, a migração de disco sem interrupção, proteção contínua de dados (CDP)

Tipo de acesso

Bloqueie a E / S do disco em uma SAN física ou virtual. O acesso ao sistema de arquivos é fornecido por meio dos protocolos NFS / CIFS do sistema operacional Windows Server subjacente. Os dois métodos de acesso podem ser combinados para atender aos requisitos de alta disponibilidade, armazenamento unificado (SAN / NAS).

Ambientes host suportados

Sistemas de computador que executam sistemas operacionais Windows padrão, incluindo (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Linux Suse, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Discos suportados (back-end)

Quaisquer unidades internas, unidades externas, matrizes de disco externas, JBODs, discos de estado sólido (SSD) e sistema de armazenamento inteligente suportado no Windows Server 2008 podem ser anexados ao (s) nó (s) DataCore. Eles podem ser conectados diretamente ou conectados à SAN.

É para você, sim?

    

Answer 5

O mais próximo que me vem à mente é o Google MapReduce ou a alternativa gratuita do Hadoop, mas isso é projetado para escalar na área de petabytes para aplicativos da Web realmente grandes.

Geralmente, seu cenário não é algo que eu realmente gostaria de testar, pois acho que a sobrecarga administrativa para gerenciar as máquinas para esse serviço adicional excederá de longe qualquer benefício que você possa obter com isso.

Além disso, vejo um certo risco de haver problemas não descobertos no Windows (ou em qualquer outro sistema operacional) que possam levar a uma vulnerabilidade em um worm de rápida disseminação que pode acabar com toda a sua rede em questão de minutos. independentemente de quão bom e seguro os seus sistemas estão configurados, e quais terão todos os seus pools de armazenamento de dados com ele.

Além disso, não tenho certeza de que as capacidades de disco livre nos sistemas clientes continuarão a crescer, pois acredito que muitos outros aplicativos serão portados para a Web no futuro, incluindo coisas como aplicativos de escritório e até mesmo Photoshop, vai levar a um grande empurrão para thin clients (de novo).