O Windows Media Player é um cliente DLNA que pode reproduzir músicas, vídeos e exibir fotos.
No modo de biblioteca, olhe para o lado esquerdo da tela e você deverá ver o seu dispositivo em "Outras bibliotecas". Você filtrará ainda mais o conteúdo, selecionando o tipo de mídia, na árvore ou na tela superior de navegação (a seta ao lado de "Biblioteca" será exibida).
Se eu puder sugerir adirection, eu tenho um DLink NAS que é um servidor DLNA e descobri que ele tende a desconsiderar certos nomes de pastas (especialmente aqueles que contêm espaços ou com nomes longos).