O ZFS tem atualmente um limite de 255 bytes em nomes. Se você decidir usar nomes UTF-16, você terá um limite de 127 caracteres. UTOF-8, OTOH pode codificar japonês / coreano em caracteres de 3 bytes, limitando-o ainda mais (255/3 = 85). Não estou ciente de outras preocupações, além da indexação mais lenta de cadeias de caracteres de 3 bytes UTF-8 em comparação com cadeias de caracteres de 2 bytes UTF-16.
Então - se todos os nomes estiverem em UTF8 - vá em frente e defina as 2 propriedades. Se você usa UTF16, não faça isso.
Observe que o UTF8 tem tratamento especializado no código (zol, não * bsd, mas codebase é o mesmo). Eu provavelmente configuraria utf8only apenas para forçar conversões para utf8, e normalização para permitir a comparação adequada de nomes de arquivos.