Ainda não encontrei o motivo por trás desse problema, mas pelo menos encontrei uma solução alternativa.
Eu apenas decodifiquei o arquivo usando flac -d e o codifiquei novamente com flac -e e ele reproduz como deveria.
Como eu disse antes, não tenho certeza se isso afeta o mp3, obviamente, se isso acontecer, a solução não funcionará, já que o mp3 é um formato com perdas.