Usar "--demux = xspf-open, avformat" me permite abrir uma instância do VLC que abrirá as playlists e esse tipo de arquivo de vídeo. Tomando apenas este passo ainda não me permitirá dar um duplo clique em playlists ou este tipo de arquivo de vídeo e carregar com sucesso as playlists ou arquivos.
Adicionando ou modificando a linha demux=<foo>
em %APPDATA/vlc/vlcrc
para começar com estas opções demuxer, obterá o resultado desejado; os arquivos da lista de reprodução e esse tipo de arquivo de vídeo serão carregados e abertos com sucesso.