An SSL certificate depends on the IP address of host too, right (besides the hostname)?
Não , somente o Nome do host ("Nome DNS") é relevante para um certificado X.509 e a Camada de aplicativo. Tal certificado tem um campo chamado Common Name (CN)
que contém o nome de domínio (que também é aprovado na barra de endereço do seu navegador). O navegador valida o certificado com a cadeia de certificados fornecida e seu armazenamento local de CAs confiáveis e compara o Nome Comum com o domínio ao qual o navegador está conectado. Se tudo 1 estiver correto, a conexão é segura.
O endereço IP é relevante para a Camada de Transporte estabelecer a conexão do seu PC para o destino (domínio resolvido para IP). Com base nessa conexão, a conexão TLS, incluindo o certificado, será estabelecida.
Assim, todos os balanceadores de carga possíveis, onde a conexão TLS termina, precisam conter o certificado (e a chave privada correspondente).
1 São feitas mais verificações, mas estas são as mais relevantes para a sua pergunta.