Sim, na regra de firewall do Windows, clique na guia "escopo".
Em "Endereço IP remoto", clique em "Estes endereços IP".
Adicione seu IP à lista e clique em OK.
A partir do on, apenas conexões originadas dos IPs que você especificar aqui poderão se conectar.