Você pode tentar codificar com libx264 crf 18. É bem conhecido por produzir um resultado (indiscutivelmente) "visualmente sem perdas".
ffmpeg -i input.avi -vcodec libx264 -x264-params crf=18 -preset veryslow -acodec copy out.mp4
Repare que usei uma predefinição veryslow que fornecerá o menor arquivo possível. Além disso, decidi copiar a faixa de áudio em vez de reencodi-la, principalmente porque presumo que já seja um aparelho de som AAC / MP3 na sua amostra.
Se a saída for muito grande para você, tente com um valor de crf maior (até 23), mas a qualidade será prejudicada.