A maneira correta de adicionar um GPO a um grupo de segurança é:
Configure o grupo adicionando os membros pretendidos (contas de computador ou usuário)
Crie seu GPO e vincule-o alto o suficiente para que seja aplicado a todos os objetos pretendidos
Remova "Usuários autenticados" do painel Escopo no GPMC e adicione o grupo que deve aplicá-lo. Você não precisa usar a seção de segurança avançada para fazer isso, e é menos perigoso assim (sem chance de se trancar).
Se você vincular o GPO na parte superior do domínio, defina a filtragem antes de editar o GPO para que ele não seja aplicado em todos os lugares.
Se for uma política do computador, os computadores precisarão ser reinicializados assim que forem adicionados ao grupo, ou quando o GPO atualizar o computador ainda não está autenticado no novo grupo e o GPO não será aplicado.