Acredito que o problema é que o Windows usa o DNS multicast para anunciar servidores na rede local e o sistema DNS padrão usado pelo navegador Android não resolve o mDNS por algum motivo.
O Android tem suporte a mDNS que os aplicativos podem usar, portanto, uma solução pode ser usar um aplicativo de navegador que suporte mDNS, como Navegador ZeroConf . Sua ligação é mais conveniente do que digitar o endereço IP.