Estou pensando quando você diz que isso acontece durante a gagueira, que é um problema de largura de banda e o codec de vídeo atualiza as seções da tela dizendo "essa diferença de cor do que era". então, se você perder vários quadros, o vídeo fica engraçado assim. Eu costumava ter esse problema ao converter de ogv, mas eu resolvi isso. No que diz respeito à correção do problema de streaming do seu lado, não sei se há muito o que fazer sobre isso. O provedor precisaria usar um codec ou quadro-chave mais robusto com mais frequência. Dessa forma, a cada X segundos, o quadro inteiro é atualizado em vez de dizer "alterar a cor da região por X".
Pelo menos para o vimeo, você pode baixar o vídeo inteiro e assisti-lo localmente. Para o youtube idk.