A latência de AZ Cruzada deve ser bastante baixa (por exemplo, Sub < 25 ms)
Se as consultas do seu aplicativo estiverem em série e não paralelas, será necessário um tempo de ida e volta entre os AZs (o tempo será cumulativo da série).
Eu criaria uma máquina ec2 no mesmo AZ que a instância do RDS e usaria o ping entre as instâncias do ec2 para calcular a latência de base.
Em seguida, você pode tentar executar o aplicativo com o mesmo AZ e comparar o desempenho do aplicativo (é o mesmo, é melhor, é pior). Logicamente, o desempenho deve melhorar.