Se os arquivos são reproduzidos corretamente, você não precisa se preocupar com isso.
Isso significa que, no arquivo de entrada, os registros de data e hora associados a amostras não estão aumentando monotonicamente. Esse não deve ser o caso, mas acho que o ffmpeg normalmente corrigirá esses problemas por conta própria.
Se você estiver usando uma versão ffmpeg desatualizada, atualizar para uma versão mais nova pode ajudar a resolver esses problemas, caso haja um problema com o decodificador em vez dos arquivos de entrada reais.