Você terá mais sorte com o mkvextract, parte do pacote mkvtoolnix .
Para subs de Bluray:
$ mkvextract tracks input.mkv 2:subtitles.sup
Ou para DVDs:
$ mkvextract tracks input.mkv 2:subtitles.sub
Tenha em atenção que poderá ter de alterar esse '2' para o ID da faixa de legendas pretendido. Eu apenas presumi que você só tinha um vídeo e uma faixa de áudio antes da faixa de legenda, cujo ID seria então '2'.
Você pode então fazer o OCR com SubtitleEdit para obter arquivos .srt.