Eu tenho essa resposta por conta própria. Na verdade, este é um bug no media player VLC e eles ainda não resolveram esse problema. Esse problema é causado apenas ao reproduzir tipos de arquivos específicos, no meu caso, era um arquivo .mov.
A resposta para este problema foi usar um player diferente, em vez de depender de vlc. Agora, sempre que eu quero abrir esse tipo de arquivo eu uso o GOM Player. O arquivo .mov é reproduzido sem problemas no player GOM sem abrir mais janelas extras.
É triste, eu até tentei a versão mais recente do vlc, ou seja, 2.0.2 ainda o problema está vivo.