Você pode clicar com o botão direito do mouse em qualquer biblioteca (Música, Vídeos, Imagens e etc) e, em seguida, ir para Gerenciar biblioteca. Aqui você pode adicionar / remover pastas dependendo do que você deseja incluir em suas bibliotecas WMP.
PS: usei ALGUNS para Música / Vídeos / Imagens e etc, de acordo com o que você deseja modificar.