Seu navegador compara o que você digitou na barra de endereço com o certificado. O certificado tem o nome de domínio completo do seu site. O navegador compara o endereço IP com isso e, como isso falha, o aviso é exibido.
Se você obtiver o IP de algo como um site do banco e usar o endereço IP para acessar diretamente, na maioria dos navegadores, receberá a mesma mensagem.
Tente acessar o site a partir de um local externo usando o nome completo do domínio e veja se você ainda recebe a mensagem.