Para a primeira pergunta: Deixe-me supor que o vídeo salvo como FLV foi bom para jogar e não havia nada de errado no arquivo FLV. Se assim for, possivelmente o arquivo AVI que você salvou não foi compactado e continha um fluxo de bitmap que deve ser muito pesado. Veja a opção "export", "compression" ou "codec" (ou qualquer coisa assim) na sua ferramenta para exportar o filme e deve haver uma opção para alterar o codec para as exportações de AVI.
Para a segunda pergunta: Basicamente, se as taxas de bits usadas em AVI e MKV forem iguais, os tamanhos dos arquivos de saída devem ser quase os mesmos. (Estritamente falando, o arquivo AVI será muito pouco maior que o MKV devido à sua diferença estrutural, mas não é um problema aqui.) Portanto, provavelmente a taxa de bits do fluxo no AVI é maior que a do MKV. No entanto, isso não significa que a qualidade de mídia do MKV seja inferior à do AVI porque os códigos podem ser diferentes. Para o seu caso, provavelmente o AVI usou o codec DIVX-like, enquanto o MKV usou o h.264, que oferece uma compressão de vídeo muito melhor. Mas por favor, não entenda mal isso - AVI e MKV são apenas contêineres (assim é o FLV) que pode ter (quase) qualquer coisa, enquanto DIVX e H.264 são codecs que realmente preenchem os dados nos contêineres. Codecs e configurações de taxa de bits contribuem principalmente no tamanho do arquivo.
Curiosamente, há uma tendência de arquivos AVI terem codificações de vídeo codificadas em codecs DIVX e MKVs em H.264, então muitos MKVs têm melhor qualidade de vídeo ou tamanho de arquivo menor, mas isso não é tecnicamente verdade.