Respondendo minha própria pergunta aqui. Parece que tem algo a ver com o fato de o aplicativo já ser "de propriedade". E, portanto, pode-se desinstalar e reinstalar, e a Family Safety não pode bloqueá-lo. Também não há como "não possuir" um aplicativo.
A única maneira que estou ciente é bloquear o Windows Store (também um aplicativo) completamente. Dessa forma, Apps desinstalados não podem ser reinstalados.