O que é a "mágica" e por que o picasa ou o windows live galery, o XnViewer não pode reproduzi-los da mesma maneira?
O VLC usa codecs integrados (lista completa aqui ) e, portanto, é independente dos codecs (DirectShow) instalados no sistema. A maioria dos aplicativos, no entanto, depende dos codecs do sistema e, portanto, se você não tiver os apropriados instalados, eles não conseguirão abrir seus arquivos de mídia.
O VLC suporta por padrão muitos codecs integrados.
Quando você reproduz o VLC, alguns arquivos .MOV são identificados com o codec "undf" e outros "Apple graphics (SMC)"
O código "undf" é um token genérico para um codec desconhecido / sem suporte.
O "Apple graphics (SMC)" ou apenas "smc" é a identificação adequada para a maioria dos arquivos .MOV reproduzidos no QuickTime. Você pode ver mais detalhes de como funciona
Então, o VLC usa o ffmpeg para conseguir reproduzir os arquivos .mov com o decodificador de gráficos da Apple (SMC). Você pode ver a implementação de código para smc no ffmpeg .
Você também pode desativar a integração com o navegador do QuickTime e a integração com o shell, para que você não perceba que está instalado, mas o Picasa ainda funcionará. Eu tenho usado isso há anos, porque algumas câmeras usam o formato MOV em vez de MP4.