Solução encontrada, a sintaxe era um pouco diferente
sudo setfacl -d -m u::rwx,g::rwx,o::,mask::rwx coldir/
Assim, o novo diretório criado é o 770, perfeito para diretórios colaborativos.
Eu quero em um dir, uma máscara padrão de --- para os outros
no linux
setfacl -d -m o:--- coldir/
funciona bem
No Freebsd 11.0, com o ufs2
setfacl -d -m other:--- coldir/
setfacl: other:---: Invalid argument
setfacl -m m::others:--- coldir/
setfacl: malformed ACL: invalid "tag" field
setfacl: m::others:---: Invalid argument
Como resolver usando o setfacl?