Isso é com alguma distro Linux, certo?
Este servidor está praticamente inativo? Talvez o Apache esteja removendo a aleatoriedade de / dev / random . Isso pode ser às vezes muito lento, já que / dev / random requer aleatoriedade "real"; coisas como mover o mouse, usando o teclado e o tráfego de rede, reúnem a entropia. Se o pool de entropia do kernel estiver quase vazio, os processos que requerem aleatoriedade tendem a parar por um tempo (longo).
Se esta for a situação, cat /proc/sys/kernel/random/entropy_avail deve ser próximo de zero durante o handshake SSL.
Você pode mudar a fonte de aleatoriedade para / dev / urandom usando SSLRandomSeed Diretiva do Apache , mas esteja avisado, isso teoricamente não é tão seguro quanto o / dev / random.
Outra solução é usar o daemon como rngd (disponível em rng-tools package em muitas distribuições Linux) que preenche o pool de entropia.