Provavelmente o seu arquivo MKV usa a codificação MVC , que é um modo especial de H264. A partir de 2016, não existe uma solução Linux pura para a plataforma amd64 / x86 (o artigo da wikipedia lista o software para Windows / Wine). Se você possui um RaspberryPi, você pode usar o omxplayer , que é capaz de decodificar o MVC.