Você não diz quais opções está usando, mas eu encontrei esses dois exemplos. Isso funciona para você?
ffmpeg -i <input_file> -vcodec mjpeg -qmin 1 -qmax 1 -o <output_file.avi>
ffmpeg -i <input_file> -vcodec mjpeg -qscale 1 <output_file.avi>
Para o segundo exemplo, encontrei uma observação que mencionou que a opção -qscale ...
fez uma diferença notável. Quanto menor o seu x, melhor é a qualidade (intervalo de 2 a 32, frações permitidas).