Mike está correto, iSCSI e SMB / CIFS operam em duas camadas diferentes de abstração.
Você pode pensar no SMB / CIFS como exportador de um sistema de arquivos que outras máquinas podem acessar. A estrutura de diretórios, os metadados de segurança e outros já estão lá. As máquinas clientes podem ler e gravar arquivos nesse sistema de arquivos, mas essa é a extensão do acesso deles.
Com o iSCSI, as máquinas clientes veem o que equivale à mesma coisa que um volume físico do ponto de vista do sistema operacional. Em uma máquina cliente Windows, você deve primeiro configurar um iniciador iSCSI apontando para o host iSCSI (destino). Depois disso, você veria um novo disco físico no painel de controle de gerenciamento de disco do Windows. Você então inicializá-lo, particioná-lo e formatá-lo com qualquer sistema de arquivos desejado. Nenhuma outra máquina teria acesso a essa área (pelo menos simultaneamente e ignorando coisas avançadas como sistemas de arquivos em cluster).
O processo seria um pouco diferente do ESXi, mas o conceito é o mesmo - o destino iSCSI apareceria como outro disco no qual você poderia criar um sistema de arquivos VMFS.
Uma coisa que você pode considerar se estiver criando seu próprio servidor de armazenamento é que é possível fazer as duas coisas ao mesmo tempo. Softwares como o OpenFiler e o FreeNAS permitem que você agregue um pool de armazenamento e permita o acesso tanto do iSCSI quanto do SMB / CIFS. O espaço iSCSI deve ser pré-alocado (muito parecido com um disco rígido da máquina virtual) e não é visível para os clientes CIFS. As duas áreas são separadas. Você também pode ficar com um servidor Windows e instalar software para exportar um destino iSCSI, como o feito pelo StarWinds.
OiSCSI em geral terá melhor desempenho porque não haverá tantas camadas de abstração no caminho - o protocolo SMB neste caso. Além disso, como é um protocolo em nível de bloco, alguns softwares que não funcionarão quando instalados em um compartilhamento de rede funcionarão com o iSCSI.
Eu estava pensando que o ESXi pode não permitir acesso a compartilhamentos SMB, somente NFS, então você também pode querer analisar isso. Se isso for verdade, você precisará de algum modo para exportar compartilhamentos NFS, mas a discussão acima permanece a mesma. O OpenFiler / FreeNAS tem suporte a NFS e o Windows também pode ser configurado com ele.