Eu vi o mesmo problema com o vlc-2.2.2 reproduzindo vídeo codificado x265 - pausas enormes até o vídeo estar de volta em sincronia após qualquer busca.
Eu resolvi isso mudando o módulo de saída de vídeo (Preferências - > Vídeo - > Módulos de saída) de "Automatic" (que na verdade selecionou "VDPAU") para "XVput putput (XCB)". Então, o problema deve estar na saída do VDPAU.