Parece que o OpenIndiana não usa a propriedade shareiscsi. Também (talvez de forma relacionada) o COMSTAR não está incluído como parte da instalação base. Então eu atirei uma nova VM OpenIndiana e executei os seguintes comandos e foi capaz de criar, compartilhar e montar um LUN esparso sem nenhum drama:
sudo -s
pkg install network/iscsi/target
svcadm enable -s stmf
svcadm enable -s iscsi/target
zfs create -o mountpoint=none rpool/iscsi
zfs create -V 8G -s rpool/iscsi/yourmom
sbdadm create-lu /dev/zvol/rdsk/rpool/iscsi/yourmom
sbdadm list-lu
Use esse GUID da saída sbdadm (meu GUID abaixo):
stmfadm add-view 600144f096c28d0000004dbeb9df0001
itadm create-target
itadm list-target
Pegue seu nome de destino (exemplo: iqn.1986-03.com.sun: 02: 9f57392e-9859-61fe-ec5c-da681f9214dd) e coloque-o no seu iniciador iSCSI (eu uso o livre globalSAN iSCSI no meu mac) junto com o endereço IP (ou hostname) da sua caixa OpenIndiana. Tada.
Fonte: Configurando o alvo COMSTAR e iSCSI no Wiki da Nexenta.