sim, remova a permissão "permitir autenticar" (e adicionar o grupo específico) ou negar essa permissão conforme apropriado.
Por padrão, todos os usuários no mesmo domínio têm permissão para se autenticar.
Sem a permissão "Permitido autenticar" para um computador de destino (ou conta de serviço, dependendo do serviço), o KDC não emitirá um ticket de serviço para esse assunto (usuário) para esse serviço (SPN).