O problema estava no fato de que, enquanto meu Ubuntu estava instalado no SSD, meus vídeos e músicas residiam no WD Green HDD. Esses HDDs são conhecidos por seus recursos de economia de energia muito agressivos. Assim, o HDD às vezes conseguia cair em suspensão entre quadros de vídeo e o player não conseguia recuperar o próximo quadro no tempo. Eu evitei o problema ativando caches de vídeo para arquivos locais.