Se o vídeo e o áudio já estiverem codificados corretamente, use o seguinte comando FFmpeg:
ffmpeg -i input.mkv -c copy output.mp4
Isto irá copiar os fluxos de bits sem codificação.
Para converter arquivos AVI, você geralmente os recodifica, pois eles geralmente contêm vídeo visual MPEG-4 e áudio MP3 em vez do h.264 / AAC necessário (ou recomendado).