Tenho certeza de que você não deseja usar /etc/passwd e /etc/group nas diretivas AuthUserFile e AuthGroupFile .
Eu acredito que você precisa criar arquivos separados (com o arquivo AuthUserFile criado e mantido usando o comando htpasswd ).
Se você quer autenticar o Apache usando suas contas normais do sistema, então você precisa olhar para um módulo de autenticação que usa algo como o PAM (eu encontrei isto mas não tenho ideia se é bom - nunca o usei).