A única maneira de conseguir isso com o IIS 6 é colocar o site SSL ativado em seu próprio endereço IP e configurar o IIS para não escutar na porta 443 do endereço IP principal.
Em SSL (sem Server Name Indication - ainda não suportado pelo IIS), o cliente valida o certificado do servidor antes dele envia o nome do host solicitado para o servidor. O servidor tem que escolher um certificado para enviar com base apenas no endereço IP.