De acordo com a página de manual zfs
(FreeBSD 11-STABLE de 2017-03-09),
Enforcement of user quotas may be delayed by several seconds. This
delay means that a user might exceed their quota before the system
notices that they are over quota and begins to refuse additional
writes with the EDQUOT error message.
É possível que seus testes estejam expondo esse comportamento. O que acontece se você tentar exceder o valor de userquota
em várias transações, dando tempo ao sistema para perceber?