A maneira como o -to é implementado, ele só pode ser usado em circunstâncias limitadas, como quando a busca lenta está sendo executada ou quando os timestamps estão sendo copiados.
Com a busca rápida, o timestamp de saída do primeiro quadro de entrada é redefinido para 0 e, portanto, -to é inútil.
A solução alternativa é usar -t cujo valor é -to time - -ss time.