Home Server: virtualização de armazenamento, o que escolher?

5

Estou à procura de soluções de virtualização para armazenamento e sistema operacional para um servidor doméstico . Uma espécie de nuvem privada onde eu gerencio o espaço de armazenamento independentemente da VM.

Esta questão se concentra no gerenciamento de armazenamento. (Tenho outra pergunta relacionada ao gerenciamento de instância de VM / computação ).

Aqui meu ambiente e desejos.

  • Servidor : HP Proliant MicroServer com 8 GB de RAM (AMD Turion dual core com tecnologia AMD-V) com 1 disco de sistema de 250 GB e até 4 discos rígidos (2 TB) para "dados"
  • Tipos de SO : somente Linux (talvez uma VM * BSD no futuro)
  • Distribuições Linux não importam, estou familiarizado com o RHEL, o Fedora, o Suse, o Ubuntu, mas qualquer outra recomendação será boa
  • O 4 HDD será uma matriz RAID de software, provavelmente RAID 5.
  • O armazenamento deve ser "virtualizado / cloudificado":
    • fácil de estender : se eu adicionar um NAS na rede, posso incluir a capacidade de espaço do NAS nesse espaço de armazenamento como um disco virtual. Isso pode ser um NAS, um disco rígido externo ou outro servidor.
    • cluster FS ou espaço de estilo S3 ou armazenamento de bloco OpenStack ? O que for mais fácil de gerenciar / manter e integrar / plugar na VM / instância de computação.

Eu preferiria ferramentas livres (libre, como em uma fala livre) e de código aberto. Mas não precisa ser livre como em uma cerveja grátis.

Observação: as VMs que pretendo executar no topo deste servidor são dedicadas ao backup, uma para o serviço "owncloud / dropbox" e talvez para o servidor de mídia (hospedagem de vídeo e fotos). Não tenho certeza se VMs tradicionais ou instância de computação forem as mais adequadas para isso.

EDIT 1, reorientando a questão

Conforme entendido e após uma pesquisa própria, o hipervisor de virtualização e armazenamento de armazenamento são tecnologias bastante novas, com poucos provedores de software prontos para soluções de nível empresarial, que não se ajustam ao meu orçamento e às necessidades de disponibilidade pessoal de tempo.

Por isso, vou procurar soluções mais práticas, mas aqui está a nova questão : quais tecnologias de armazenamento (mapeador de dispositivos, gerenciador de volumes lógicos, cluster FS, iSCSI, etc.) escolher um servidor doméstico com 4 compartimentos de disco, do que poderia ser gasto com um NAS ou outro servidor no futuro?

  • RAID de software usando MD + LVM + iSCSI? (não tenho certeza se isso é viável)
  • RAID de software usando MD + iSCSI?
  • RAID de software usando FS com suporte, como ZFS ou BTRFS?
  • Sistema de arquivos cluster GFS2 ou OCFS2? No topo do MD RAID?
  • etc. (você sugere / aconselha)

EDIT 2, thin provisioning

Parece que minha resposta giraria em torno de MD e LVM2 como tecnologias principais. Ambos suportam o provisionamento thin (experimental) para que eu possa usar esse recurso quando estiver estável.
Eu precisaria ser aconselhado por boas ferramentas de espaço do usuário para monitorar essas tecnologias e, talvez, se existem algumas ferramentas (baseadas na web) para configurar remotamente o LVM (diferente do ssh).

A parte lvm "virtualsize" do recurso experimental de thin provisioning, ou é algo com que eu poderia começar enquanto a outra tecnologia amadurece?

Nota 1: Eu posso configurar os volumes MD e LVM na linha de comando, mas seria legal que "manutenção" pudesse ser feita via GUIs remotamente.

Nota 2: O armazenamento seria usado para backup, por isso não posso usar tecnologias experimentais ou apenas estabilizadas (como o btrfs), quero soluções comprovadas. Porém, se eu puder atualizar para essas novas tecnologias quando elas estiverem maduras, isso seria ótimo!

EDIT 3, Linux LIO

Eu não sei nada sobre iSCSI ou Linux LIO . Eu vi que Synology, QNAP e outros fornecedores de NAS implementaram o último em suas soluções NAS. Como isso pode ajudar meu objetivo? Existem algumas ferramentas de administração que aproveitam frameworks / bibliotecas como libStorageManagement ou Targetd ? Existem outras alternativas?

    
por Huygens 09.07.2012 / 10:12

3 respostas

4

Portanto, você deseja usar seu HP Microserver como uma solução de armazenamento virtualizado para hospedar seus convidados da VM. Recentemente, fiz uma pergunta similar no serverfault, mas mais para o armazenamento de virtualização dentro da mesma caixa. De certa forma, acho que você está seguindo esse caminho (ou pelo menos olhando para o futuro).

Em termos de sistema operacional / hipervisor, recomendo que você analise o VMWare ESXi 5.0. Você pode instalá-lo em um pendrive que economiza armazenamento em disco para suas VMs. Pode não ser adequado gratuito, mas é grátis o suficiente para as suas necessidades. Você também pode abrir mão da virtualização do seu servidor de arquivos e seguir diretamente com um sistema operacional, já que a virtualização em si não é o recurso que você deseja, mas a virtualização de armazenamento / provisionamento thin é o que você está pedindo.

Para o seu armazenamento, na minha opinião ( tendenciosa ), eu digo usar o ZFS. Nexenta, OpenIndiana ou FreeBSD, mas o ZFS é o caminho a percorrer. Com discos 4x2TB e 8GB de RAM, o ZFS seria um bom ajuste. Se você usar um pen drive USB para o ESXi, poderá substituir o disco do sistema de 250 GB por um SSD para ZIL e L2ARC para acelerar ainda mais o ZFS (se necessário). Existem ferramentas de linha de comando que podem ajudar a determinar se o ZFS precisa mesmo de ZIL ou L2ARC, mas essa discussão é para outro post.

Você também solicitou a capacidade de anexar ou preferir ao colocar estender o armazenamento. Não sei se o ZFS é capaz disso, mas em termos de armazenamento, o armazenamento do ZFS é atualizável e talvez esse seja o melhor caminho (leia-se: mais fácil). Talvez alguém possa falar sobre isso ou talvez haja outro sistema de arquivos mais adequado para esse recurso, mas não tenho conhecimento sobre esse aspecto. Um pensamento que vem à mente é estender os discos diretamente para o HP Microserver com um gabinete externo como este um da Newegg. Você pode criar facilmente novos zpools no ZFS e adicionar os discos a esse pool ou criar novos vdevs no pool antigo para estender mais esse pool.

Não tenho certeza sobre a nuvem - acessibilidade de fotos que não seja o uso de algumas regras de firewall personalizadas. Talvez outros usuários tenham respostas melhores ou mais detalhadas para você nesse sentido.

Você pode configurar volumes ZFS como destinos iSCSI. Aqui está uma postagem no blog do Oracle for Solaris, mas a ideia é a mesma. O iSCSI é provavelmente a maneira mais comum e acessível (também conhecida como livre) de virtualizar o armazenamento para VMs.

Eu também recomendo que, em termos de RAID, o RAID5 / 6 possa ganhar um pouco mais de espaço de armazenamento com o sacrifício de velocidade e simplicidade. Eu fui convertido das formas de RAID de hardware tradicional (5 e 6) e sou tudo sobre os espelhos. Pode ser um uso ineficiente de armazenamento, mas é muito mais simples de corrigir e a velocidade compensa a diferença. Este artigo basicamente me vendeu espelha em vez de RAID 5 ou 6 no ZFS e provavelmente fora do ZFS também.

O legal do ZFS é o vdevs e o striping. Para cada vdev que você cria em um zpool, elas são distribuídas por completo. Portanto, se você fosse para a rota do ZFS, criaria dois discos espelhados (disco 0 e 1) como um vdev, depois os outros dois discos (disco 2 e 3) como outro vdev, e o ZFS segmentaria ambos os vdevs você pode pensar nisso como RAID 10 (ou 1 + 0). Muito rápido e muito simples. Você pode sofrer de uma falha de 2 discos (contanto que cada disco não esteja no mesmo vdev) e você ficará bem.

Espero que isso responda algumas das suas perguntas. Você deu alguns exemplos parciais de seus casos de uso, mas o que exatamente você pretende fazer com este servidor de arquivos? Talvez com um pouco mais de informação, outras pessoas possam oferecer respostas mais direcionadas.

    
por 19.07.2012 / 21:17
4

While downloading FreeNAS, I was advised by SourceForge to look at NAS4Free, OpenMediaVault and Openfiler. All promising related projects. Itś going to take me awhile to verify all these products... – Huygens Jul 9 at 19:02
Yeah there are a ton of options out there, you're right you will likely just need to experiment with them to determine which best suits your needs. – jmreicha Jul 9 at 19:37

Basta verificar os outros para recursos. Se eles não oferecerem ZFS como uma opção de sistema de arquivos, siga em frente. É simples assim.

O FreeNAS agora também está permitindo o que eles chamam de "Plug-ins", que são efetivamente executados na VM, para que você possa adicionar um servidor de impressão do CUPS, por exemplo, ao seu storage array.

    
por 18.09.2012 / 23:13
1

Eu fiz a mudança para NAS4Free depois de testá-lo por algum tempo.

Em NAS4Free , obtenho velocidades mais altas do que as que consegui em FreeNAS 8.3 . Também contém alguns recursos interessantes, como criptografia, do que o FreeNAS 8 . E, um grande bônus, NAS4Free agora suporta armazenamento altamente disponível (HAST)

    
por 19.11.2012 / 06:04