Eu não acho que você possa evitar o impacto da negociação SSL para cada subdomínio.
A conexão HTTPS deve ser estabelecida individualmente para cada subdomínio. Para todos os clientes sabem, esses diferentes sub-domínios podem ser hospedados em qualquer lugar, em diferentes servidores, em diferentes países. Embora o cliente tecnicamente possa determinar que todos os subdomínios conduzam ao mesmo endereço IP, ele não pode nem deve presumir que todos os subdomínios estão sendo hospedados pelo mesmo processo do servidor.
Além disso, as conexões estarão chegando em momentos diferentes, e o processo de troca de chave HTTPS não foi projetado para coordenar o tipo de compartilhamento de informações entre fluxos criptografados que você espera.