> _ < Eu sou um idiota ... Eu nunca reiniciei o serviço apache2 depois de adicionar www-data ao grupo de usuários. Então o processo para fazer este trabalho foi
usermod -aG user-group www-data
service apache2 restart
Tenha em mente que estou rodando isto no Debian 8, mas rodar o recarregamento da seguinte maneira parece funcionar sem ter que reiniciar o Apache, e sem terminar as conexões existentes:
service apache2 reload
A razão pela qual você tem que adicionar o usuário do Apache, no meu caso, 'www-data', a um grupo de usuários que tem permissão para ler o diretório é que o authnz_external apenas diz que o usuário tem permissão para acessar o servidor, tudo é ainda atravessado como 'www-data'.