Acho que encontrei a mesma situação e o que aconteceu é que mkvmerge não detectou que os arquivos já são UTF-8, já que não havia BOM e foi codificado novamente.
Então, eu coloquei algumas legendas em um MKV com o mkvtoolnix, mas parece que depois do muxing, a codificação de caracteres está bagunçada.
As legendas de entrada eram codificadas em UTF-8. Eu não sei qual é a codificação de caracteres que o mkvtoolnix definiu, mas não é UTF-8, mesmo que eles apareçam na lista como S_TEXT / UTF-8.
Nas "opções específicas de formato", a codificação de caracteres foi definida como "padrão" e acho que esse foi o problema, porque o mkvtoolnix não pode detectar arquivos codificados em UTF-8, e você precisa selecionar especificamente UTF-8.
Agora, o problema é que eu apaguei as legendas originais e as do novo arquivo MKV tem alguma codificação estranha. Eu gostaria de extrair e recodificá-los novamente para UTF-8, mas eu não sei qual é a codificação real que foi definida pelo mkvtoolnix. Alguém sabe como eu poderia descobrir?
Percebi que os subs extraídos estão no formato UTF-8, então acho que o mkvtoolnix converteu meus arquivos UTF-8 para ANSI e UTF-8. Se isso for verdade, há alguma maneira de recuperar os caracteres originais?
Acho que encontrei a mesma situação e o que aconteceu é que mkvmerge não detectou que os arquivos já são UTF-8, já que não havia BOM e foi codificado novamente.