O handshake SSL é um evento lento de 3 pacotes. Isso significa que a conexão inicial levará mais tempo do que a conexão não-SSL - geralmente de 3 a 4 vezes mais. As solicitações a seguir usarão a sessão SSL da primeira conexão e serão mais rápidas, mas somente enquanto a sessão permanecer ativa.
Você pode controlar a vida útil da sessão SSL no NGINX configurando ssl_session_cache
e ssl_session_timeout
.
Edit: só notei que expliquei por que isso acontece, mas não o que você pode fazer sobre isso. A resposta é, infelizmente, muito pequena. O tempo de duração do handshake inicial depende de 2 fatores: o tempo gasto pela criptografia SSL real (insignificante com o hardware atual) e o tempo gasto pela troca de 3 pacotes que depende apenas da rede - a menos que você consiga "ping menor" para o servidor nada vai mudar.