É o mesmo que em uma LAN Ethernet com fio. Não há nada específico para sem fio.
O Windows geralmente usa a navegação SMB e o Serviço de nomes NetBIOS e a resolução de nomes de multidifusão de link local.
O UPnP também tem alguns mecanismos de descoberta, que envolvem colocar um estranho HTTP GET em uma mensagem UDP e fazer um multicast.
O padrão da IETF é o ZeroConf, que a Apple chama de Bonjour. Usa o DNS Multicast (mDNS).
Os dispositivos Cisco usam o Cisco Discovery Protocol (CDP).
Um protocolo chamado Link-Layer Discovery Protocol (LLDP) tem seus fãs vocais, mas não tenho certeza de quão difundido é. Ao contrário da maioria dos outros protocolos de descoberta, com o LLDP você pode descobrir a topologia (mapa lógico) de sua rede, mas não acho que o LLDP seja tão bom em descobrir quais serviços em nível de aplicativo estão sendo oferecidos por cada dispositivo.
Muitos outros protocolos de descoberta surgiram e desapareceram, e muitos ainda estão por aí, mas usados apenas por uma empresa ou produto ou família de protocolo.
Bem, para ser justa e completa, devo mencionar que o Wi-Fi Direct (a maneira da Wi-Fi Alliance de fazer 802.11 ponto-a-ponto sem um ponto de acesso, como usado pela rede wireless "Miracast" da Wi-Fi Alliance) tecnologia de espelhamento de tela) tem um protocolo de descoberta específico para redes sem fio. Se bem me lembro, os dispositivos com capacidade Wi-Fi Direct passam algum tempo enviando sinalizadores especiais e respondendo a solicitações especiais de sondas com respostas de sondas especiais. Outros dispositivos compatíveis com Wi-Fi Direct podem encontrá-los fazendo uma varredura de canal muito parecida com a forma como uma STA normal encontra um ponto de acesso.