Então basicamente:
User has access to Database A when connected to network A and access to Database B when connected to network B. User should not be able to connect to database B when in network A and vice versa.
Quando você se conecta a um AG Listener, você está conectado à instância do SQL, onde o local principal para o AG neste momento é. A segurança aplicada é aquela que está ativa nessa instância.
A única maneira de ver isso funcionando, é dar ao usuário os direitos em ambos os bancos de dados (e instâncias) e usar um firewall para bloquear o acesso da Rede A ao SQL na rede B (AG Listener e SQL Listener ) e vice-versa.
Isso funcionaria quando tudo estiver bem, mas quando o seu AG falhar, você não poderá acessá-lo.
Eu não recomendaria implementar isso. Minha principal questão ainda é: por que você faria isso?
Acho que os Grupos de Disponibilidade não são a solução correta aqui. Basta configurar 2 SQL Servers, fornecer os direitos apropriados e configurar seu firewall. Se você quiser os AGs para DRP / HA, será necessário evitar bloqueá-lo.