Não - as permissões de administrador são devidas a uma participação no grupo.
Uma associação de grupo é armazenada no ticket kerberos de um usuário, que persistirá até que seja desconectado ou que o ticket expire e seja renovado (seu tempo de vida é de 10 horas por padrão, mas pode ser personalizado em seu domínio).
Fazer logoff ou aguardar a expiração é a única maneira de remover os membros do grupo que concedem direitos de administrador.