Talvez a sincronização do seu arquivo de música esteja corrompida. Experimente transcodificar e veja o que acontece.
Esse comportamento geralmente acontece (mas não limita a) quando o áudio dentro do arquivo está usando uma taxa de bits variável (VBR) para a reprodução. Então eu sugiro que você use uma Taxa de Bits Constante (CBR) para a transcodificação.
128 kbps serão bons o suficiente para a maioria dos gêneros musicais. Mas se você for mais exigente com os sons que seus arquivos compactados fornecem, tente usar o CBR de 196 a 256 kbps.
Por favor, informe seus resultados para verificar se podemos ter uma resposta melhor.
Boa sorte!
P.S. Esta resposta é para uma transcodificação de arquivo de vídeo, que também é a mesma regra para arquivos de áudio e pode ser útil para você: Como posso compactar arquivos de vídeo no máximo?