How to point this sb.domain.in to my virtual directory sb.domain
Você só precisa do registro (A) e da vinculação correta do IIS ("Nome do host"). Não há mais nada.
so that when browsed it should display My Sub Domain
Esse deve ser o caso mesmo se chamado de localhost. Apenas RDP em sua máquina, verifique o registro do DNS ("ping" deve responder ao seu endereço IP público) e abra seu navegador. Se o site incorreto for exibido, os vínculos IIS não estarão corretos.
Neste caso, eu ligaria a Página Padrão ao IP público (porta 80, *) e ao subdomínio ao IP (porta 80, hostname subdomain.domain.in). Verifique novamente a configuração de ligação / diretório. O segundo site deve ter um diretório próprio, não pode residir na mesma pasta.
played with windows DNS manager(Forwarding look up zones/reverse look up zones etc) and ehternet settings ....
Pare com isso.
Um navegador primeiro resolve o ip do seu servidor e, em seguida, envia uma solicitação para este IP que contém o nome do vhost (subdomínio, hostname).