.AVI, .MKV, etc. são apenas "formatos de arquivo contêiner" - os fluxos de áudio e vídeo dentro deles podem ser codificados em qualquer um dos vários formatos de compactação.
Quando você reproduz um desses arquivos no VLC e pressiona Ctrl + J, uma janela Informações de mídia será aberta na guia Codec. Muito possivelmente, o codec de vídeo usado nesses arquivos é aquele que não é bem suportado pelo pacote de driver "Livre". Ou seja: você pode precisar instalar um dos codecs alternativos de um dos pacotes de drivers "Não-livres".