O documentação diz que esta configuração é usada quando o usuário "clica em Permitir na mensagem de notificação".
Está funcionando conforme o esperado, a Microsoft nunca disse que as regras criadas por "alguma outra coisa" não serão aplicadas.
Apply local firewall rules: Yes. We recommend that you allow users to create and use local firewall rules. If you set this to No, then when a user clicks Allow on the notification message to allow traffic for a new program, Windows does not create a new firewall rule and the traffic remains blocked.