ACL: Como impedir que um usuário específico acesse um determinado diretório acessível no mundo?

Question

Eu sei que com o seguinte comando eu poderia dar a um usuário a leitura / gravação correta e entrar em um determinado diretório:

setfacl -m u:user:rwx /dir/

Eu quero fazer exatamente o oposto: o diretório é acessível ao mundo, mas apenas um usuário deve ser banido com a ajuda da ACL. Como eu poderia conseguir isso?