Bem, não conseguimos encontrar uma maneira de impedir que o mencoder sobreponha as duas legendas, mas encontrei uma solução simples.
Eu adicionei ao meu script de conversão uma nova etapa no início que verifica se a extensão do arquivo original é mkv e, em caso afirmativo, remove qualquer legenda dele usando este comando:
mkvmerge -S -o original.mkv /tmp/no_subtitles.mkv
então eu uso a saída desse comando em vez do meu arquivo "original" e não há legendas incorporadas para suprimir