Resposta curta: Não. Você não pode tornar apenas alguns arquivos em um diretório "invisível" para aqueles que não pertencem a um determinado grupo.
Dê uma olhada na pergunta Por que os diretórios precisam que a permissão executável (X) seja aberta? - o assunto é bem abordado aqui, então não vou apenas replicá-lo aqui. O importante é entender que um diretório é uma entidade separada - assim como um arquivo -, portanto, qualquer permissão só pode afetá-lo como um todo.