Compartilhamento e backup de dados distribuídos e descentralizados

5

Considere o seguinte cenário: você tem uma equipe de algumas pessoas espalhadas pelo mundo que precisa trabalhar nos mesmos dados. Cada membro da equipe tem uma cópia dos dados de que precisa. Quando alguém faz alterações em alguns dos dados, ele precisa ter esses dados sincronizados com os outros membros que estão trabalhando nos mesmos dados. Além disso, alguns dos dados que os membros da equipe têm são "privados", no sentido de que são úteis apenas para um único membro (e, portanto, há apenas uma cópia dele), mas podem ser úteis para outros membros no futuro e, portanto. uma cópia de backup seria útil.

Dada essa situação, estou procurando uma maneira de ter um compartilhamento descentralizado (ou seja, algum tipo de unidade de armazenamento, seja local ou via rede) para o qual todos os usuários com direitos de acesso possam ler / gravar. (Estamos falando de 3-4 usuários por enquanto, mas pode crescer em um futuro próximo)

A parte "descentralizada" significa que não temos um servidor que possa executar um compartilhamento tradicional, portanto, ele precisa ser executado em nossos computadores (e eles geralmente são desativados). Isso significa que cada compartilhamento local deve poder funcionar mesmo se no momento nenhum outro nó estiver disponível.

Precisamos disso por vários motivos, mas principalmente porque:

  1. temos muitos dados nos quais trabalhamos (leia / modifique / escreva) diariamente e gostaríamos de sincronizá-los
  2. temos muitos dados (compartilhados entre vários usuários ou particulares) de que gostaríamos de ter uma cópia de backup, possivelmente remotamente
  3. não temos conexões rápidas o suficiente para apenas puxar / empurrar tudo de / para um servidor ou outro nó toda vez que precisarmos / modificá-lo (cache local transparente, compactação diferencial)

A maioria de nós está trabalhando em máquinas Windows, então uma solução compatível com Windows seria preferível. Alguma idéia?

    
por CAFxX 08.11.2010 / 10:07

4 respostas

2

Que ótima pergunta! Essa área de assunto pode ser confusa porque há tantas tecnologias e opções diferentes. Como você aponta, muitos deles não cumprem suas exigências particulares.

Armazenamento Distribuído Local - Sincronização Contínua de Arquivos

Como entendo suas necessidades, você tem várias pessoas trabalhando em seu próprio disco rígido local contendo TBs de dados . Mas você quer que ele funcione COMO SE há apenas um disco rígido que é sempre o mesmo para todos e é local . Se uma pessoa adicionar ou alterar um arquivo, todos os usuários terão esse novo arquivo ou mudarão (quase) imediatamente em seus discos rígidos locais.

Software ViceVersa - $ 49.95

Eu acredito que o software ViceVersa da TGRMN Software fará isso por você: link Por US $ 59,95 por usuário (US $ 49,95 cada para 2-5 usuários), certamente é acessível. Está limitado ao MS Windows. (Eu não tenho interesse financeiro no TGRMN, mas tenho um strong interesse em sincronização e backup pela Web.)

É verdadeiramente descentralizado. Você configura sua WAN, presumivelmente uma VPN. (Mas veja uma opção mais simples com o PogoPlug, abaixo.) Em cada PC você configura quais diretórios deseja sincronizar bidirecionalmente. Acredito que você queira configurá-lo para que o arquivo mais recente substitua seus equivalentes mais antigos e inalterados. ViceVersa é inteligente o suficiente para que, se um arquivo for alterado tanto em Source quanto em Target, você reconcilie o conflito manualmente.

Conflitos de arquivos com sincronização

Os conflitos de arquivos são potencialmente um grande problema em um mundo descentralizado e sincronizado. Você precisa fazer escolhas inteligentes sobre como lidar com exclusões . Se você excluir um arquivo, deseja excluí-lo de todos os outros computadores? Se alguém estava trabalhando em um documento e você o excluía antes de salvá-lo no disco, o que você quer que aconteça? Eu acredito que o ViceVersa lhe dá todas as opções, mas você precisa entender o efeito delas e escolher sabiamente.

Estou curioso sobre esta situação. Suponha que você tenha uma pasta Docs em cada um dos três PCs na sua WAN: A, B e C. Você tem uma sincronização bidirecional contínua configurada entre o Docs no A e o Docs no B. A mesma sincronização é configurada entre B e C. E o mesmo para C e A.

Agora você adiciona um arquivo ao Docs em A. Vamos dizer que ele sincroniza primeiro com B e um pouco mais tarde, devido a uma conexão mais lenta, para C. Então agora B tenta sincronizar o arquivo para C, mas digamos que C já tenha arquivo e está prestes a sincronizá-lo para B. É realmente importante que B e C cada reconhecer que cada um deles tem o mesmo arquivo e não precisa sincronizá-lo.

Você pode evitar possíveis problemas decorrentes dessas conexões de três vias usando um PogoPlug ou outro dispositivo como hub.

Usando o ViceVersa com o PogoPlug ou o NAS como um hub

Aqui está uma opção que pode ser interessante se você quiser evitar as complexidades de configurar uma VPN e configurar a sincronização entre cada par de computadores. Você pode fazer uma grande unidade USB e até mesmo várias unidades USB conectadas a um PogoPlug aparecem como letras de unidade em todos os seus PCs individuais. (A Amazon tem bons preços, cerca de US $ 80, no PogoPlug.)

Veja: www.pogoplug.com

Configure o ViceVersa em cada PC para que ele seja sincronizado com a unidade P:, a unidade USB no PogoPlug. A unidade apenas age como um intermediário. Você poderia fazer a mesma coisa com um dispositivo NAS, mas o PogoPlug é incrivelmente simples de configurar e conectar. Qualquer um dos seus usuários poderia hospedar o PogoPlug conectando-o a uma porta em seu modem a cabo ou comutador. Você não precisa ter um PC instalado e funcionando para que o PogoPlug esteja disponível. Não se conecta a um PC, mas diretamente à Internet.

O Aspera tem uma boa imagem mostrando essa configuração, mas em vez de um grande servidor no centro, imagine um PogoPlug de US $ 79 e vários drives USB no centro:

www.asperastaging.info/images/connect_deployment_thb.png

Alternativas Potenciais

Me deparei com algumas alternativas em potencial, mas nenhuma tão promissora, simples e nem tão acessível quanto a ViceVersa e a PogoPlug.

FileReplicationPro Site terrível, pelo menos em FireFox US $ 495,00

www.filereplicationpro.com/_cart/products.cfm

Aspera

www.asperastaging.info/en/products/client_software_2/aspera_connect_8

Software de pares

www.peersoftware.com/purchase/registration.aspx

Aliás, este é o meu primeiro post no Super User. Espero que os outros o considerem útil e digno de voto, apesar do seu tamanho!

    
por 12.11.2010 / 06:23
1

Outra possibilidade, quando você tem uma grande quantidade de dados ou não quer colocar seus dados em servidores de terceiros, é criar seu próprio Dropbox:

link

    
por 11.11.2010 / 10:23
0

Para isso eu uso um dispositivo NAS.

NAS

Os melhores (e mais caros) parecem ser Synology ou QNAP, mas existem muitos fornecedores. Existem dispositivos NAS em uma ampla gama de preços e capacidades. Muitos deles suportam vários discos com pelo menos RAID-0 ou RAID-1 e podem fazer backup para outros servidores NAS ou de arquivos.

Pessoalmente, prefiro um NAS que funcione sem precisar de um software cliente especial instalado no PC e que ofereça suporte a clientes Windows, MAC e Linux.

Para um punhado de PCs, algo como um Synology DS210J pode valer a pena ser considerado, mas isso não é uma recomendação de produto - há muitas marcas boas e muitos bons produtos.

Cloud

Outra possibilidade é alugar on-line armazenamento em nuvem baseado na Internet. Por exemplo. Amazon S3, Armazenamento do Google, Mozy, DriveHQ, I2drive ...

Armazenamento distribuído local

Um sistema de arquivos distribuído que mantém a disponibilidade consistente de dados em computadores ativos intermitentemente pode existir, mas suspeito que seja mais difícil de configurar do que um NAS.

O Surfnet tem uma interessante Visão geral

BitTorrent

Veja a Wikipedia no BitTorrent e neste artigo sobre como compartilhar arquivos grandes com seus amigos (em particular).

    
por 08.11.2010 / 12:04
0

A maneira mais fácil de fazer isso seria usar o Dropbox . Ele sincroniza automaticamente pastas compartilhadas e cria backups.

    
por 10.11.2010 / 19:05