O problema de confiança é, na verdade, um aviso de certificado SSL. O certificado SSL está vinculado ao nome no certificado, não ao endereço IP do servidor. O que você está vendo quando se conecta ao endereço IP é perfeitamente normal e é o comportamento esperado. Se não fosse, então todos nós estaríamos em um monte de problemas (semelhante ao bug Heartbleed). Quanto ao seu problema de conectividade, você abriu essas portas no firewall da sua rede para o servidor?
Veja estas duas imagens. Eles são do mesmo site. A primeira conexão é com o endereço IP e a segunda conexão com o nome que está vinculado ao certificado SSL. Se você não recebeu o aviso como na primeira captura de tela, o SSL seria completamente inútil.