Você pode clicar com o botão direito do mouse em um arquivo, ir até a última entrada (Propriedades) e selecionar na nova janela a guia 'Abrir com'.
Lá você vê o aplicativo padrão, o aplicativo recomendado e outros aplicativos para abrir este arquivo.
Na lista de outros aplicativos, você pode selecionar qual aplicativo usar para abrir o filme. (Media player VLC)
Agora o arquivo deve ser aberto pelo VLC.