Um conjunto de permissões vazio pode ser representado com -
:
setfacl -dm o::- mydir
Isso não parece estar documentado, então não sei como é portável. No entanto, a documentação menciona que eles podem ser especificados como um dígito octal (4 r, 2 w, 1 x, como em chmod), portanto:
setfacl -dm o::0 mydir