Sim, o AWS ELB reutilizará as conexões abertas para os back-ends quando possível, enquanto ainda tenta distribuir a carga conforme ela está configurada para isso. A AWS até mesmo recomenda isso como uma das melhores práticas em docs :
For HTTP and HTTPS listeners, we recommend that you enable the keep-alive option in your EC2 instances, which enables the load balancer to re-use the connections to your instances for multiple client requests. This reduces the load on your web server and improves the throughput of the load balancer. The keep-alive timeout should be at least 60 seconds to ensure that the load balancer is responsible for closing the connection to your instance.
ETA: observe que o ELB não entrega uma conexão de cliente para um back-end. Todas as solicitações entre o cliente e o back-end ainda são transmitidas pelo ELB em ambas as direções. Você pode ter o ELB encerrar o SSL do cliente (supondo que seja HTTPS) e, em seguida, criar ou reutilizar sua própria conexão HTTPS (se configurada para fazer isso) para o backend, ou você pode optar por encerrar o SSL apenas no backend.