Como você especificou ss
e to
como opções de saída, o FFmpeg irá gerar todos os quadros desde o início do arquivo, mas descartá-los até que a posição inicial seja atingida. Mova essas opções para antes da entrada.
ffmpeg -ss 15:10.123 -to 15:11.249 -i source_vid.mp4 frames/frame_%03d.png
O FFmpeg não interpola, a menos que um filtro seja especificado.
Para uma extração precisa de quadros por índice, use
ffmpeg -i source_vid.mp4 -vf trim=start_frame=n:end_frame=m frames/frame_%03d.png