Isso é muito estranho. O VLC tem os codecs integrados, portanto, não importa o que você faz com o ffmpeg. A menos que instalar o ffmpeg de alguma forma estragasse uma biblioteca, o VLC estava dependendo ...
O erro que você começa me parece que há algo errado com o arquivo que você está tentando abrir. Pouco básico, talvez, mas você já tentou abrir outro arquivo de vídeo, incluindo um com um tipo de arquivo diferente (por exemplo, avi)?