Recomendações de hardware e configuração do VMware ESXi e do ZFS [fechadas]

3

Eu quero finalmente gastar um pouco de dinheiro atualizando a infra-estrutura de virtualização da minha empresa, mas estou vendo o hardware há algumas semanas e não tenho certeza do que é apropriado para as nossas necessidades. Além de comprar algum hardware de servidor real, quero substituir nosso atual VMware Server pelo VMware ESXi. O orçamento inicial é provavelmente algo em torno de US $ 2000, mas pode ser escalonado para US $ 3.000, se precisarmos ajustar o desempenho mais tarde.

Depois de ler alguns artigos assustadores sobre erros de RAM e taxas de falhas no disco rígido no StorageReview (e depois de lidar com várias falhas de disco), quero passar para a RAM ECC e quero armazenar nossas VMs em volumes ZFS redundantes para proteger contra a corrupção silenciosa de dados e perda de dados.

Nota: sei que já existem várias perguntas sobre VMware ESXi e Recomendações de hardware do ZFS , mas não consegui encontrar nenhuma discussão sobre o desempenho do VMware ESXi com as VMs armazenadas no ZFS.

Configuração atual

  • VMware Server no Windows 2003
  • Athlon X2
  • 8 GB de RAM
  • Espelho SATA de 2 x 250 GB (disco dinâmico)
  • Espelho SATA de 2 x 640 GB (disco dinâmico)

Neste momento, rodamos 4 VMs 24/7 em um Athlon X2 com 8 GB de RAM. Ocasionalmente, precisamos ativar uma ou duas VMs adicionais e o desempenho é prejudicado. Também queremos virtualizar alguns servidores adicionais, mas não nos vejo precisando de mais do que uma dúzia a qualquer momento nos próximos dois anos. Eu li que o VMware ESXi é melhor, já que é um hypervisor bare-metal e tem várias otimizações de desempenho.

VMs:

  • 2 GB de RAM, Win2003 (rodando o Fogbugz, incluindo MS SQL Server)
  • 512 MB de RAM, o Fedora Linux (executando sistemas legados como MediaWiki, RT e Bugzilla)
  • 2 GB de RAM, WinXP (usado regularmente para software desenvolvimento & teste)
  • 1 GB de RAM, WinXP de 64 bits (usado apenas ocasionalmente para testes)
  • 1 GB de RAM, WinXP em japonês (usado apenas ocasionalmente para testes)
  • 1 GB de RAM, CentOS Linux (usado regularmente para desenvolvimento e teste de software)

Configuração planejada

Servidor ESXi:

  • Xeon quad-core Dell ou HP de nível básico servidor
  • Dual quad-core Xeon 55xx (um CPU inicialmente - Nehalem vale o dinheiro extra?)
  • 8-16 GB ECC RAM (capacidade máxima de pelo menos 32 GB RAM)

Eu acho que isso me custará entre US $ 1.000 e US $ 1.500 se eu comprar a RAM separadamente do NewEgg, mas não tenho certeza se é melhor colocar mais dinheiro em uma Xeon de última geração, se eu deveria colocá-la em um segundo CPU, ou se eu deveria apenas salvá-lo por enquanto.

VMs adicionais:

  • 1,5 GB de RAM, o Windows 2003 Small Business Server (atualmente usado apenas como controlador de domínio; provavelmente será reconstruído / substituído em breve)
  • 2 GB de RAM, Windows 2003 Server (servidor de terminal pouco usado, junto com vários servidores de licenças para diferentes partes do nosso ambiente de desenvolvimento)
  • Algumas outras VMs da estação de trabalho Windows e Linux usadas ocasionalmente para testar

Servidor ZFS:

Eu acho que poderia redirecionar o atual servidor Athlon X2 como o servidor ZFS instalando um dos derivados livres do Solaris. (Obrigado MarkM por apontar que o grupo OpenSolaris se separou depois que a Oracle interrompeu seu suporte algumas semanas atrás - eu terei que seguir o progresso de Illumos ' fork de código aberto). Estou planejando disponibilizar o armazenamento para o ESXi por meio do iSCSI por meio de um link Ethernet direto gigabit.

A placa-mãe suporta 8 unidades SATA e imaginei que adicionaria um gabinete eSATA adicional de 4 ou 8 unidades para que eu possa ter vários espelhos ZFS ou volumes raidz2.

Provavelmente substituirei a memória por RAM ECC para integridade de dados e talvez adicione SSDs para o ZIL / L2ARC para melhorar o desempenho do ZFS, mas não tenho certeza se o dinheiro gasto em SSDs seria melhor gasto em unidades SAS em vez disso.

Alguma sugestão?

Dadas estas especificações, estou dimensionando os servidores corretamente? Será que uma combinação de drives RPN SATA 7200 com SSD e de consumo / "empresarial" nos dará desempenho de disco suficiente, ou será que realmente precisamos atualizar para o SAS? Há alguma pegadinha que eu preciso tomar cuidado? Estou perdendo algo importante?

O mais importante, alguém já teve experiência em configurar uma configuração semelhante - e, em caso afirmativo, como ela se comportou?

    
por rob 27.08.2010 / 02:49

2 respostas

3

Desde que o OpenSolaris está morto, o Solaris 11 está com 6 + meses e o Illumos ainda é um trabalho em andamento, você deve considerar a plataforma Nexenta Core (nexenta.org não nexenta.com). O kernel do Solaris plus debian (apt) userland é rápido de aprender se você já estiver familiarizado com o Ubuntu ou o Debian Linux. Se você decidiu mudar para o Solaris 11 / FreeBSD, você pode levar seus pools do ZFS para o passeio. Comecei com o ZFS-Fuse no Linux, migrei para o OpenSolaris e depois para o Nexenta: CP com o mesmo pool.

Minha configuração em casa é semelhante ao seu servidor de armazenamento do ZFS sugerido. Eu acho um dual core @ 2.8Ghz (Core i5-650), 8GB ECC Ram e um zpool espelhado de 4x2TB (WD RE4 7200RPM) sem SSDs com desempenho satisfatório. O ESXi se conecta via NFS ou iSCSI, enquanto os clientes Win / Mac se conectam via CIFS. Eu sou facilmente capaz de saturar uma única conexão gigabit (~ 95MB / seg) e os discos têm um rendimento ainda melhor localmente. Eu honestamente não tenho equipamentos de rede suficientes ou IOPS carregam em casa para ver quanta latência se beneficiaria de ter SSDs para ZIL e L2Arc, mas em breve estarei adicionando mais RAM e um SSD para L2Arc para ver se consigo realmente trabalhar com desduplicação rapidamente.

Eu acho que o suficiente ram (8GB +), uma placa SAS decente e piscinas espelhadas sua caixa Athlon X2 é provável até a tarefa. O dinheiro da IMHO gasto em 10k / 15k SAS é um desperdício para o ZFS, a menos que você planeje aproveitar gabinetes SAS de vários caminhos / inteligentes ou fique preso apenas em 4-6 compartimentos de unidade. Você menciona eSATA; Considere multilane SAS (4x) como uma alternativa para conectividade de gabinete. A menos que você esteja planejando ter portas esata 1: 1 para unidades, precisará de multiplicadores de porta eSATA 4to1 / 5to1 que multiplexam várias unidades em um canal. O Multilane SAS (SFF 8088 / SFF-8470) possui quatro canais SAS / SATA por cabo, com cabos de fuga em uma / ambas as extremidades, dependendo de suas placas e gabinetes. Os cartões LSI SAS non RAID são ótimos para o ZFS, mesmo os mais sofisticados 500 dólares LSI SAS 9200- O 16e (portas Quad 4Gbps SAS 4x) é suportado pela Nexenta.

Quanto à caixa ESXi, qualquer servidor núcleo 4/6 de grande fornecedor atenderá às suas necessidades hoje, mas não conte com a capacidade de preencher o segundo soquete do processador, o preço de atualização pode não ser razoável ou até mesmo disponível (Eu me queimei com isso). Se você está indo fazer whitebox ESXi (2ª caixa para DR?), A maior pegadinha é ter certeza de que você tem uma placa de rede na ESXi HCL. NICs de servidor Intel provavelmente funcionarão, mas muitos Intel e1000 e RealTek integrados não. O ESXi não será inicializado nem instalado a menos que encontre uma NIC compatível. O NIC PCI mais suportado é o $ 30 PCIe x1 Intel Gigabit Ct Desktop (EXPI9301ct) , mas se este for o seu principal esx box você deve definitivamente pegar um Intel NIC multiportas de extremidade superior, potencialmente com iSCSI TOE. Infelizmente AFAIK, nenhum suporte TOE no lado do ZFS (OpenSolaris / Nexenta).

Honestamente, acho que você está no caminho certo. Construir um mau homem O ZFS SAN para ESXi provavelmente atenderá bem às suas necessidades e dará a você algum espaço para crescer, especialmente se você ficar com os pools espelhados (não RAIDZ). Uma vez que seu IO precisa exceder 2xGigE ou você recebe um segundo host ESXi, as coisas ficam mais complicadas (switches L3, 10gigE, 4Gig FC, etc), mas você atravessará essa ponte quando chegar a ela. Ah sim, e não se esqueça, embora o ZFS seja bastante estável e os snapshots sejam poderosos, não substitui os backups adequados.

btw, obrigado por vincular a minha resposta anterior em sua pergunta.

    
por 02.09.2010 / 00:35
4

Como notpeter disse, você está no caminho certo para uma configuração de baixo orçamento.

Meu conselho para você (aprendi isso da maneira mais difícil):

  • Não coloque todos os ovos na mesma cesta. Você deve considerar seriamente ter um servidor ESXi extra caso você receba erros de hardware - sobre virtualização
  • Compre lotes e muita RAM. As VMs têm melhor desempenho e seu armazenamento é menos ocupado na gravação / leitura de arquivos de swap para convidados.
  • A menos que você tenha alguns requisitos absolutos para IOPS, uma configuração SATA de 7200 rpm de baixo orçamento funcionará bem
por 02.09.2010 / 00:55