Provavelmente, seus vídeos são mal codificados.
Isso não acontece com todos os vídeos da minha experiência. Tem a ver com a existência de uma grande quantidade de dados de áudio / vídeo sem quadros-chave ou ressincronizações de áudio e vídeo.
Eu já vi isso acontecer, mas quando isso acontece no VLC, na maioria das vezes é um vídeo mal codificado.
Para consertá-lo, recodifique o vídeo com as predefinições h264 / aac e ele deve ficar bem.