Você não fez nada de errado. As restrições que você configurou são para mensagens recebidas , em que os meios de entrada são enviados de "fora".
Quando você diz "todos os usuários podem enviar ...", isso é verdade. Você não pode restringir o endereço de destino ao enviar para o mundo fora .
Se isso não responder à sua pergunta, refaça sua pergunta para expressar o que realmente quer dizer. Ou melhor: o que você quer alcançar? Você só diz que não funciona sem especificar o que .