Respondendo a minha própria pergunta depois de usar o Wireshark para determinar a resposta.
Sim, o AAR utilizará sessões SSL e essas sessões poderão atender a vários clientes.
Usando o Wireshark, observei o seguinte:
Client1 -> AAR GET /foo
AAR -> ContentServer Client Hello
ContentServer -> AAR Server Hello, Certificate, Server Hello Done
AAR -> ContentServer Client Key Exchange, Change Cipher Spec,
Encrypted Handshake Message
ContentServer -> AAR Change Cipher Spec, Encrypted Handshake Message
AAR -> ContentServer <encrypted application data>
Client2 -> AAR GET /bar
AAR -> ContentServer Client Hello
ContentServer -> AAR Server Hello, Change Cipher Spec,
Encrypted Handshake Message
AAR -> ContentServer Change Cipher Spec, Encrypted Handshake Message
AAR -> ContentServer <encrypted application data>
Isso se alinha exatamente com os resultados esperados mostrados nos diagramas em Aceleração SSL: habilitando a reutilização de sessão .