Na verdade, tenho o mesmo problema que você descreveu. Uma descrição mais precisa do meu problema específico (apenas para ter certeza de que é igual à sua) é:
When seeking (jumping timecodes) during WMV playback, when the video resumes from the new timecode, the video will temporarily speed up (it starts a few seconds behind the seeking point), while the audio properly aligns with the seeking point. When the video finally catches up with the audio, the playback resumes properly synchronized.
No meu caso, descobri que o problema só se manifesta em players de mídia baseados no DirectShow (Windows Media Player, Media Player Classic, etc ...). O reprodutor de mídia somente que eu usei e que NÃO tem esse problema é VLC Media Player , que usa codecs completamente autocontidos para reprodução.