Uma queda de velocidade é tipicamente esperada (mas não necessariamente uma taxa perceptível) - isto é como resultado da sobrecarga adicional negociando e computando a criptografia.
Você não avisou muito sobre seu ambiente, mas eu afirmo que sua rede local tem um proxy ou sistema IDS que intercepta e lida com o tráfego HTTP, mas não com o tráfego HTTPS, e isso pode explicar a diferença de velocidade.
Outra possibilidade pode ser um servidor web e / ou DNS mal configurado e o site SSL ignora os elementos problemáticos. (Pode ser um problema com a pesquisa inversa de DNS para endereços IP, por exemplo).
Uma terceira possibilidade pode ser uma alteração na hospedagem / hardware que ocorreu para facilitar o site seguro.
Você geralmente não esperaria um aumento de velocidade de um certificado auto-assinado em localhost ou de outra forma. Não há nada intrinsecamente mais rápido sobre HTTP sobre HTTPS, supondo que eles estejam configurados de forma semelhante, mas há coisas intrinsecamente mais rápidas sobre HTTPS sobre HTTP.