O VLC não oferece suporte total ao AVCHD, que é o codec gravado pela maioria das câmeras HD de consumo.
A única solução que conheço é a instalação do pacote de codecs K-Lite que tem um bom codec AVCHD. Isso está disponível em Ninite para facilitar a instalação.