Como mencionado em um comentário, seu servidor pode estar com pouca entropia.
No meu caso, o Apache demoraria muito tempo (> 20s) para veicular páginas via HTTPS, enquanto as mesmas páginas sobre HTTP eram rápidas como o normal. O Firefox mostraria quase todo o longo tempo de carregamento da página como "Bloqueio" no console de rede [ detalhes ].
No servidor, você pode executar o seguinte para diagnosticar o problema:
cat /proc/sys/kernel/random/entropy_avail
Se os valores relatados forem rotineiramente de 100 a 200 ou até menores, isso provavelmente será o seu problema. No meu caso, eram na maioria < 150 e até < 50 depois que o Apache finalmente exibia uma página HTTPS. Outros aconselham tomar medidas para valores <1000> [ ]. Para obter mais explicações e uma maneira de corrigir esse problema com haveged
, consulte este tutorial do Oceano Digital .
Veja também esta pergunta: A existência de baixa entropia pode fazer com que um servidor HTTPS fique mais lento?