If you have 5 web servers behind a load balancer (...) do you need SSL certificates for all the servers,
Depende.
Se você fizer seu balanceamento de carga na camada TCP ou IP (camada OSI 4/3, a.k.a L4, L3), então sim, todos os servidores HTTP precisarão ter o certificado SSL instalado.
Se você fizer o balanceamento de carga na camada HTTPS (L7), normalmente instalaria o certificado somente no balanceador de carga e usaria HTTP simples não criptografado na rede local entre o balanceador de carga e os servidores da Web (para melhor desempenho nos servidores da web).
Se você tiver uma instalação grande , talvez esteja fazendo Internet - > Balanceamento de carga L3 - > camada de concentradores SSL L7 - > balanceadores de carga - > camada de servidores de aplicativos HTTP L7 ...
Willy Tarreau, o autor do HAProxy, tem uma visão muito legal das maneiras canônicas de balanceamento de carga HTTP / HTTPS .
Se você instalar um certificado em cada servidor, certifique-se de obter um certificado que suporte isso. Normalmente, os certificados podem ser instalados em vários servidores, desde que todos os servidores atenham tráfego somente para um nome de domínio totalmente qualificado. Mas verifique o que você está comprando, os emissores de certificados podem ter um portfólio de produtos confuso ...