Você precisa aplicar um acabamento de estágio demuxer, ou seja,
ffmpeg -ss 595 -to 600 -i video.mp4 split2.mp4
Como você transcodifica e seu formato de entrada (MP4) é indexado, a divisão será precisa.
Com o ajuste do estágio de saída, todos os quadros anteriores são processados e, em seguida, descartados durante o processamento do arquivo de saída. Então, quanto mais profundo o conteúdo desejado, mais tempo leva para chegar até ele.