Configurando armazenamento distribuído tolerante a falhas em casa

4

Estou cansado de me preocupar com a perda de dados em casa. Minha esposa é uma fotógrafa semi-profissional, e essencialmente todas as memórias de nossa família são digitais (e devemos converter as que não são). Estou planejando a configuração de dois sistemas para hospedar os discos e executar algum tipo de sistema de arquivos de cluster (e depois fazer o backup para unidades externas, que rodam off-site semanalmente) via iSCSI nos discos dos dois sistemas. Eu corro Linux, e preciso suportar o Apple OS X, e um pouco de Windows (o Windows pode ser ignorado, já que será usado para experimentação de VMware com seus próprios LUNs, ou pode viver com SMB). Então seria ótimo se houvesse um cliente nativo do Mac, mas eu posso viver com o NFS.

O ambiente também terá um laptop Mac, um laptop Linux e uma área de trabalho grande, que entrará e voltará a ser anexada ao sistema de arquivos principal, mas eles serão apenas usuários, eles não contribuirão com armazenamento.

Hardware, eu sou razoavelmente aberto, baixo consumo de energia seria bom, já que eles provavelmente estarão em 24/7 (a menos que eu configure meu roteador Linksys para enviar uma ativação no pacote LAN quando alguém procurar por eles?), procurando provavelmente para um Atom dual core com um chipset nVidia, para que eu possa ter 4GB de RAM, com 2-4 portas SATA e Ethernet de dois gigabits. Eu pretendo comprar 5 discos para começar (tem que figura um vai morrer, então recebendo o sobressalente, que será testado, claro, primeiro), e seria bom ter uma porta (e drive slot no caso) ou dois livre . Eu terei um desktop e dois laptops razoavelmente grandes para jogar com VMs e outros trabalhos intensivos, então eu não acho que uma CPU de desktop faça sentido (embora tentadora). Ser capaz de arrancar a partir de um cartão CF seria bom.

Em vez disso, não lide com drivers proprietários, mas como eles estarão sem cabeça (provavelmente), isso não será um problema. Eu tive problemas com drivers ATI causando problemas com a troca de usuário e powersave / suspender (você quer que o Planet Penguin Racer voe, ou não ter que sair para permitir que sua esposa ou filhos usem o computador?).

Eu gostaria de reutilizar casos e fontes de alimentação que eu já tenho, mas eles são ATX (antigo, mas não tão antigo a ponto de ser AT), haverá problemas com MB pequeno (casos com os quais eu me preocupo, espero que o MB vai ter um plug ATX padrão de 24 pinos)?

Hardware que estou considerando:
ZOTAC IONITX-F-E Placa-mãe Intel ITX Intel Atom N330 Dual-Core Mini ITX - tem 16x pci express
Placa-mãe ZOTAC IONITX-A-U Atom N330 1.6GHz Dual-Core Mini ITX Intel - vem com powersupply
Asus AT3N7A-I Placa-mãe Intel Atom 330 / Nvidia ION / Mini ITX - possui slot PCI

Todos têm apenas uma porta Ethernet gigabit. Eu prefiro o que tem seu próprio PS, o Zotac tem pelo menos WiFi (dá alguma redundância, com desempenho horrível).

Resumo: FS que podem funcionar: Gluster parece bom (alguém usou isso pessoalmente? Como sobre laptops que vêm e vão?), PNFS pode funcionar também, qualquer outra coisa que só vai trabalhar uma vez que é configurado? (para perguntas semelhantes, muitas pessoas postando links para coisas que estão muito longe da produção, ou que não tem nenhum tipo de tolerância a falhas.)

Não: o Lustre realmente quer uma instalação GRANDE. xtreemfs - sem redundância, pvfs - Eu simplesmente não gosto de coisas que estão em seus fs existentes, GFS2 e OCFS2 - uma dor do que as pessoas dizem aqui.

legal, mas não existe - POHMELFS, CEPH, CRFS,

    
por Ronald Pottol 11.11.2009 / 09:42

5 respostas

2

Como Nic disse, quantos dados você precisa?

Para mim, todos os arquivos que eu criei (há 20 anos, embora os antigos sejam muito pequenos), a maioria dos arquivos da minha esposa (mais porque ela trocou de PC algumas vezes e há algumas chances e termina em discos rígidos mais antigos), todas as fotos que tiramos ou digitalizamos, e a maioria dos vídeos da família (não os arquivos brutos direto da câmera, mas muitos dos "melhores" clipes) cabem em um disco rígido de 320GB. Vai demorar pelo menos 3 anos até chegar a 500GB.

Então, eu só tenho 4 cópias de tudo em discos rígidos externos. Uma unidade fica em casa, uma pequena vai comigo, uma fica em um escritório, a última se movimenta. Eu uso o SecondCopy para fazer backup dos arquivos do meu laptop para as unidades externas e faço um backup em pelo menos uma das unidades externas sempre que eu altero mais do que alguns arquivos. Os discos rígidos são baratos o suficiente para que, quando eu precisar de discos maiores, não custem muito, e deixarei de lado pelo menos um par de 320 para guardar para sempre.

Estou considerando seriamente (já que o disco rígido do meu laptop está quase cheio) me livrando da cópia "mestre" de todas as minhas coisas que estão no meu laptop e apenas tratando dois dos discos rígidos como armazenamento de armazenamento e os outros dois como backups estacionários.

    
por 11.11.2009 / 07:47
1

Como isso é para um ambiente doméstico, convém procurar um Drobo FS . Eles apoiariam tudo o que você quer fazer e os fotógrafos profissionais juram por eles. E se você tiver o dinheiro, você pode comprar um segundo Drobo FS e eles espelharão automaticamente (eu nunca configurei isso, mas eu ouvi falar de pessoas que têm).

Eles também suportam o Time Machine, o que é uma grande vantagem.

    
por 07.10.2010 / 13:07
0

Bem, você pode configurar o Nexenta com o RAID Z2, mas isso não protege seus dados contra um roubo ou incêndio. Eu sugeriria dar uma olhada nos serviços de compartilhamento de fotos como o Smugmug, isso fará backup e compartilhará as fotos. Serviço de disco doméstico distribuído O Wuala permite-lhe trocar o armazenamento local por armazenamento online. O melhor serviço de backup multi-so que eu descobri é que o CrashPlan também tem um pacote familiar.

    
por 07.10.2010 / 00:57
0

Isso parece desnecessariamente complexo e difícil de gerenciar para uma solução doméstica, por que não apenas pegar uma segunda bebê NetApp com controladores duplos do eBay ou um leilão? Cargas de resiliência mais snapshots quase infinitas.

    
por 07.10.2010 / 01:09
0

Você pode estar interessado no Backblaze Pod se você tiver grandes requisitos de armazenamento, ou uma solução similar (placas RAID + backplates multiplicadores no caso personalizado)

Quanto ao sistema de arquivos: você examinou o OpenAFS ? O único recurso interessante que tem é a operação desconectada.

    
por 07.10.2010 / 14:11