Você pode tentar isso:
ffmpeg -i input -q:v 3 -f segment -segment_format mjpeg -segment_wrap 100 -segment_time 0.001 out%d.jpg
Isso limitará a saída a 100 arquivos, mas reutilizará os nomes dos arquivos, portanto, você precisará solicitar os arquivos por tempo da última modificação para saber a ordem dos últimos 100 quadros.