Acesso rápido ao disco na virtualisaion

Question

Minha organização investirá na virtualização RedHat com KVM ou VMware ESX. Alguns de nossos trabalhos envolvem coisas de bioinformática de disco intensivo, como o BLAST, que, em nossa opinião, costumam ser engarrafados pelo disco em vez do CPU.

Eu sei pouco sobre armazenamento conectado à rede, SAN, iSCSI etc., mas gostaria de receber alguns indicadores sobre os quais a tecnologia de armazenamento pode valer a pena. Parece-me que a solução mais rápida seria o armazenamento de estado sólido conectado localmente, mas não podemos ter as vantagens das migrações de VM para failover e balanceamento de carga.

Qual solução de armazenamento, por cerca de US $ 6-8k, devemos considerar?

    

Answer 1

O armazenamento direto conectado será muito, muito mais rápido do que qualquer armazenamento SAN ou NAS de baixo custo. A menos que você tenha requisitos de DR muito rigorosos (e do seu orçamento de armazenamento, posso supor que provavelmente você não o faz, mesmo que os interessados em negócios pensem que sim), então uma estratégia de failover quente não vale o esforço. Você terá muito mais tempo de inatividade não programado devido a problemas de configuração do que provavelmente terá com falhas de hardware com equipamentos de servidor modernos. Portanto, manter seu sistema simples provavelmente melhorará seu tempo de inatividade real.

Minha resposta: seja simples. Use um servidor bare metal de capacidade apropriada com VMs para aplicativos secundários, se você realmente precisar deles. O Linux é muito melhor em fazer malabarismos com várias cargas de trabalho em um único servidor do que com o Windows. Você pode fazer chroot apps se precisar.

Um servidor moderno de um fabricante respeitável é bastante confiável com ventiladores, discos e fontes de alimentação redundantes. Eles não falham com tanta frequência. Você não obterá uma instalação de DR credível por US $ 4.000 e, se esse for seu orçamento de armazenamento, a empresa não considerará esse sistema de missão crítica.

Editar: O $ 6000-8000 ainda não obterá uma capacidade de DR significativa com disco de alto desempenho. Neste nível de orçamento anexo direto e KISS vai te de longe o melhor estrondo para fanfarrão.

    

Answer 2

Eu segundo o que o ConcernedofTunbridge disse. Esqueça o SAN ou NAS de baixo nível. O desempenho provavelmente será pior do que com o DAS regular.

Se você precisar de acesso rápido ao disco no DAS, siga a rota SSD. O desempenho do SSD superou qualquer disco do disco rígido em magnitude.

EDIT : Como eu obtive um -1 para isso, aqui estão algumas fontes: comparação do disco 7.2k e X-25E e Comparação do SAS / SSD / SATA .

E citando o AnandTech:

For the rest of us, probably 90% of the market, the Intel X25-E is nothing short of amazing: it offers at least 3 to 13 times better OLTP performance at less than a tenth of the power consumption of the classical SAS drives. We frankly see no reason any more to buy SAS or FC drives for performance critical OLTP databases unless the database sizes are really huge. From the moment you are using lots of spindles and most of your hard disks are empty, Intel's SLC SSDs make a lot more sense.

Você terá a escolha entre o SLC (Single Level Cell) e o MLC (Multi-Level Cell). O SLC é muito (pelo menos 5 vezes) mais rápido que o MLC quando se trata de gravações. Dependendo de quantos servidores você deseja configurar, você deve colocá-los em um RAID10 para obter ainda mais desempenho.

Um Intel X-25E (SLC) de 32GB pode ser adquirido por 375 $. Um Intel X-25M (MLC) de 160GB pode ser adquirido por 405 $.

    

Answer 3

Concorde com o ConcernedOfTunbridgeWellsW - o armazenamento anexo direto é o caminho a seguir.

Meu conhecimento de genética está um pouco enferrujado, mas eu diria que seus problemas surgem da largura de banda do disco, e não da latência do disco (esses são problemas diferentes com soluções diferentes). O volume de armazenamento é menos problemático atualmente, mesmo com estruturas de indexação mais complexas.

Mas mesmo assim, $ 4k não é um orçamento enorme. No momento em que você saiu e comprou um gabinete SCSI, fonte de alimentação, adaptador e cabos, você não terá mais nada para comprar discos!

OTOH, o fato de você estar procurando por um sistema de armazenamento implica que você já tenha CPU e memória.

Começando do zero, a maneira mais econômica de obter o que você precisa provavelmente seria um sistema com muitos discos SATA mid-range (provavelmente como RAID5), seus casos / PSUs difíceis de achar que acomodam isso facilmente. Certamente, eu recomendaria a atualização do seu caso / PSU em vez de usar um gabinete separado conectado via SCSI ou rede.

Mas eu esperaria que se você descobrisse que a CPU era um problema, você teria muito mais desempenho em executar a comparação em um DSP / GPU.

HTH

C.

    

Answer 4

Todos valem a pena discutir. A virtualização tem uma sobrecarga (x%, depende da tecnologia), mas é isso. Todo o resto é idêntico.

O resto depende das suas necessidades. Dito isto ....

for no more than about $4k

... não te leva a lugar nenhum. Não em uma solução final mais alta. Esqueça o SAN.

O seu melhor orçamento de aposta wuolsd é olhar para o SuperMicro - eles têm invólucros de servidor com 24-72 discos. Só isso, um bom controlador SAS de ponta (Adaptec 5805QZ) e você pode conectar um monte de discos em uma configuração RAID 10. Eu tenho um desses (24 casos de disco) usando agora 12 discos em 2 grupos de RAID (um para virtualização, um para um servidor de banco de dados virtualizado como disco de passagem).

Esta é praticamente a sua melhor aposta - no final, o IO depende do que o subsistema pode fornecer. Em um orçamento, uma SAN está fora de questão. O ISCSI pode ser, mas soluções de baixo custo são simplesmente menos (muito) eficientes.