Você sabe o que é um badalo? É um dispositivo antigo usado no cinema e se parece com isso:
Isso é usado pelo editor para sincronizar o vídeo e o áudio juntos. Você precisa disso porque não há nada sobre fluxos de áudio e vídeo que realmente permitam que um computador calcule o quanto estão fora de sincronia.
Seu melhor curso de ação é descobrir por que sua gravação está saindo de sincronia. Parece que o seu computador pode ser fraco (conjectura como eu não sei o quão poderoso é o seu computador). Se você não conseguir resolver o problema de sincronização, use um badalo (ou faça um) e, em seguida, faça um teste e um erro para sincronizá-lo.
É claro que isso só ajuda com problemas de sincronização fixos; se você tiver problemas de sincronização progressiva, poderá usar a fórmula de tempo para ressincronizar os fluxos e isso é algo que o computador pode ajudá-lo. É suspeito que é o que o ffmpeg está tentando fazer.