Quando você configura o AlwaysOn, ele é feito pelo Windows Clustering. Como parte da configuração, você criará um endereço IP de cluster e o nome do host, e é assim que você se conectará à instância ativa. O IP irá se mover dependendo de vários fatores no Windows Clustering e AlwaysOn.
Isto é apenas para failover, se você quiser balanceamento de carga, você terá que olhar para AlwaysOn AGs e suas opções lá.