A definição de um grupo do Google é de toda a organização, como você diz, no entanto, estar em um grupo do Google não confere permissões automaticamente a toda a organização. Você pode criar um grupo e conceder permissões somente em um projeto. Portanto, uma solução é criar um grupo do Google para o projeto (por exemplo, [email protected]) e tornar esse grupo um proprietário do projeto. Você pode então colocar contas de serviço nesse grupo e elas só terão acesso a esse projeto.
Como alternativa, você não precisa usar grupos. Você pode tornar a conta de serviço um proprietário ou editor diretamente no projeto.