Como você fez o benchmark de seu servidor? Qual aplicativo está sendo executado por trás do seu servidor HTTPS? Qual CPU o seu servidor usa? Como você pode ver, sua pergunta não tem muitos detalhes importantes ...
De qualquer forma, o SSL certamente é um pouco mais lento que o HTTP "puro": a criptografia de chave pública é mais lenta que a de chave simétrica, e essa é a razão pela qual o pubkey é usado apenas para trocar uma chave privada simétrica e o canal muda para criptografia de chave simétrica.