Por padrão, a codificação de idioma no VLC (e possivelmente em outros) é definida como "default", que é windows-1252 (possivelmente somente se o seu idioma estiver definido para inglês, mas não tenho certeza)
Isso não exibirá outros idiomas muito bem. Para corrigi-lo, abra as preferências do VLC, clique na guia Legendas e OSD e altere a "codificação padrão" para UTF-8
Isso dará ao programa uma escolha muito mais ampla de caracteres a serem exibidos, permitindo que eles representem os caracteres como deveriam ser.