Há um desempenho notável em cada conexão para a sobrecarga de PKI. A transferência de dados real, usando chaves simétricas, tem relativamente pouca sobrecarga. Proporções e custos exatos dependem da sua pilha específica de hardware / software.
Em geral, a sobrecarga para transferir muitos dados é pequena; a sobrecarga para fazer muitas pequenas conexões (https para muitas imagens pequenas, por exemplo) é muito maior. Você pode escolher partes de uma página para proteger, não precisa ser tudo ou nenhum.
Faça seus testes e benchmarks, suspeito que você perceberá que o desempenho geral é pequeno e tolerável.