Desde que o OpenSolaris está morto, o Solaris 11 está com 6 + meses e o Illumos ainda é um trabalho em andamento, você deve considerar a plataforma Nexenta Core (nexenta.org não nexenta.com). O kernel do Solaris plus debian (apt) userland é rápido de aprender se você já estiver familiarizado com o Ubuntu ou o Debian Linux. Se você decidiu mudar para o Solaris 11 / FreeBSD, você pode levar seus pools do ZFS para o passeio. Comecei com o ZFS-Fuse no Linux, migrei para o OpenSolaris e depois para o Nexenta: CP com o mesmo pool.
Minha configuração em casa é semelhante ao seu servidor de armazenamento do ZFS sugerido. Eu acho um dual core @ 2.8Ghz (Core i5-650), 8GB ECC Ram e um zpool espelhado de 4x2TB (WD RE4 7200RPM) sem SSDs com desempenho satisfatório. O ESXi se conecta via NFS ou iSCSI, enquanto os clientes Win / Mac se conectam via CIFS. Eu sou facilmente capaz de saturar uma única conexão gigabit (~ 95MB / seg) e os discos têm um rendimento ainda melhor localmente. Eu honestamente não tenho equipamentos de rede suficientes ou IOPS carregam em casa para ver quanta latência se beneficiaria de ter SSDs para ZIL e L2Arc, mas em breve estarei adicionando mais RAM e um SSD para L2Arc para ver se consigo realmente trabalhar com desduplicação rapidamente.
Eu acho que o suficiente ram (8GB +), uma placa SAS decente e piscinas espelhadas sua caixa Athlon X2 é provável até a tarefa. O dinheiro da IMHO gasto em 10k / 15k SAS é um desperdício para o ZFS, a menos que você planeje aproveitar gabinetes SAS de vários caminhos / inteligentes ou fique preso apenas em 4-6 compartimentos de unidade. Você menciona eSATA; Considere multilane SAS (4x) como uma alternativa para conectividade de gabinete. A menos que você esteja planejando ter portas esata 1: 1 para unidades, precisará de multiplicadores de porta eSATA 4to1 / 5to1 que multiplexam várias unidades em um canal. O Multilane SAS (SFF 8088 / SFF-8470) possui quatro canais SAS / SATA por cabo, com cabos de fuga em uma / ambas as extremidades, dependendo de suas placas e gabinetes. Os cartões LSI SAS non RAID são ótimos para o ZFS, mesmo os mais sofisticados 500 dólares LSI SAS 9200- O 16e (portas Quad 4Gbps SAS 4x) é suportado pela Nexenta.
Quanto à caixa ESXi, qualquer servidor núcleo 4/6 de grande fornecedor atenderá às suas necessidades hoje, mas não conte com a capacidade de preencher o segundo soquete do processador, o preço de atualização pode não ser razoável ou até mesmo disponível (Eu me queimei com isso). Se você está indo fazer whitebox ESXi (2ª caixa para DR?), A maior pegadinha é ter certeza de que você tem uma placa de rede na ESXi HCL. NICs de servidor Intel provavelmente funcionarão, mas muitos Intel e1000 e RealTek integrados não. O ESXi não será inicializado nem instalado a menos que encontre uma NIC compatível. O NIC PCI mais suportado é o $ 30 PCIe x1 Intel Gigabit Ct Desktop (EXPI9301ct) , mas se este for o seu principal esx box você deve definitivamente pegar um Intel NIC multiportas de extremidade superior, potencialmente com iSCSI TOE. Infelizmente AFAIK, nenhum suporte TOE no lado do ZFS (OpenSolaris / Nexenta).
Honestamente, acho que você está no caminho certo. Construir um mau homem O ZFS SAN para ESXi provavelmente atenderá bem às suas necessidades e dará a você algum espaço para crescer, especialmente se você ficar com os pools espelhados (não RAIDZ). Uma vez que seu IO precisa exceder 2xGigE ou você recebe um segundo host ESXi, as coisas ficam mais complicadas (switches L3, 10gigE, 4Gig FC, etc), mas você atravessará essa ponte quando chegar a ela. Ah sim, e não se esqueça, embora o ZFS seja bastante estável e os snapshots sejam poderosos, não substitui os backups adequados.
btw, obrigado por vincular a minha resposta anterior em sua pergunta.