É mais rápido porque quando você coloca -ss antes de -i , ffmpeg avança até o horário especificado (ou, para ser preciso, para o primeiro quadro-chave após esse registro de data e hora).
Se você colocar -ss após -i , o áudio e o vídeo de entrada serão decodificados em uma representação "quadro a quadro" bruta. Assim que chegar ao timestamp especificado por -ss , o ffmpeg irá, na verdade, iniciar a saída de vídeo.
Observe que, se você não copiar fluxos e usar o ffmpeg 2.1 ou superior, -ss antes de -i também será preciso. Ela costumava ser imprecisa (ou seja, nem sempre atingindo a hora exata especificada).
Veja também Buscando com o FFmpeg .