Existem muitos fatores que afetam as velocidades de SSL da escolha da biblioteca SSL (OpenSSL vs GNUTLS), a escolha de algoritmos (RC4 vs AES etc) para o tipo de servidor web usado (Apache vs NGINX etc).
Dito isso, você deve não se preocupar muito com o desempenho do SSL nos dias de hoje. Com uma máquina SSL configurada corretamente, há pouca sobrecarga adicional em comparação com conexões não SSL.
Adam Langley, do Google lançou algumas dicas sobre a sintonização de SSL um tempo atrás e suas experiências mudando para SSL. Eu recomendo que você leia o artigo dele.
On our production frontend machines, SSL/TLS accounts for less than 1% of the CPU load, less than 10KB of memory per connection and less than 2% of network overhead.