O Apache acessará os arquivos como um usuário específico do sistema operacional, geralmente chamado de "www-data" ou similar, pertencente a um grupo de sistemas operacionais específico (geralmente "www-data" ou similar).
Se os outros usuários estiverem acessando os arquivos através do servidor web, você precisará de algum controle de acesso em um nível acima do sistema operacional (digamos, nível de aplicativo). Por exemplo, você poderia implementar um controle de acesso trivial no php.
Se o que você deseja é impedir que outros usuários de sistema operacional acessem diretamente os arquivos no sistema de arquivos (não passando pelo servidor da Web), você pode simplesmente conceder permissão de leitura a um grupo de SOs para esse conjunto de arquivos e adicionar / remover sistema operacional usuários para esse grupo, de acordo com suas necessidades.
OBSERVAÇÃO: Acabei de interpretar sua pergunta, porque não ficou muito claro para mim. Talvez você possa esclarecer um pouco, para obter respostas mais adequadas.