Tive algum tempo para investigar isso. Talvez você possa compartilhar sua versão do Solaris? Eu tentei isso em um sistema Solaris 11.3:
# pkg list entire
NAME (PUBLISHER) VERSION IFO
entire 0.5.11-0.175.3.1.0.5.0 i--
# zfs set groupquota@staff=2G rpool/export/home/testquota
# su - testquota
$ mkfile 3G 3gFile
3gFile: initialized 2179989504 of 3221225472 bytes: Disc quota exceeded
# zfs get groupused@staff rpool/export/home/testquota
NAME PROPERTY VALUE SOURCE
rpool/export/home/testquota groupused@staff 2.03G local
$ rm -rf 3gFile
$ zfs get groupused@staff rpool/export/home/testquota
NAME PROPERTY VALUE SOURCE
rpool/export/home/testquota groupused@staff 7K local