É impossível. Legendas mescladas fazem parte do vídeo. Você não pode simplesmente removê-los porque o computador não consegue distinguir entre a parte da legenda e a parte da imagem. Mesmo que pudesse, não seria capaz de recuperar o que está perdido por baixo do subtítulo.
Então, como funciona o MkvExtract e por que não funcionou? O MKV é um contêiner de vídeos mais avançado. Recipientes simples como o AVI podem conter apenas áudio e vídeo. O MKV é muito mais avançado, ele pode incluir várias faixas de áudio (por exemplo, estéreo e 5.1, você pode escolher qual você prefere) e legendas. Legendas MKV não são mescladas no vídeo; eles são textos simples renderizados em vídeo durante a reprodução. Como eles já são distintos, o MkvExtract pode extraí-los em um arquivo separado.
Seu arquivo convertido não tinha legendas reais, mas apenas mescladas, então não havia nada para extrair.