A resposta real é que funciona como esperado. A opção -ss especificada antes da entrada permite que o ffmpeg procure primeiro essa posição e, em seguida, inicie a codificação às 00:00:00 como um registro de data e hora.
Isso significa que não importa se você codificar por 5 minutos com -t ou codificar até 00:05:00 com -to - porque você começou às 00:00:00.
Se você quiser começar com um registro de data e hora posterior, recorte o arquivo usando -ss após -i . Dessa forma, o ffmpeg codificará, mas iniciará a saída no registro de data e hora especificado, o que faz com que as opções funcionem como você espera.