A resposta à pergunta no título é: setfacl -m group::rwX test A letra maiúscula X significa "somente conceder permissão de execução se outra pessoa já tiver permissão de execução". (Isso significa a mesma coisa para chmod(1) .) Usando o capital X é como você pode fazer um recursivo setfacl ou chmod para conceder permissão sem acabar com arquivos de origem executáveis.
A entrada da ACL group:: corresponde ao grupo atual do arquivo. Se você fosse a alteração do grupo de test para algo diferente de vanguarda, a entrada group:: controlaria o acesso para qualquer que seja o grupo atual.
chmod g+rwx não fez o que você esperava porque, quando há uma ACL, os bits de permissão do grupo Unix em um arquivo ou diretório são aliados à entrada mask:: da ACL. Contanto que haja uma ACL chmod g+FOO será equivalente a setfacl -m mask::FOO e vice-versa.