Se você quer simplesmente gravar o vídeo para si mesmo, e não consertá-lo para distribuição, a maioria dos softwares de player inclui uma função para atrasar o áudio por uma duração variável (positiva ou negativa). No VLC, por exemplo, isto é conseguido com os botões j e k por padrão, em incrementos de 50 ms.
Para uma correção permanente, no melhor dos casos, você teria que recolocar o vídeo e o áudio do arquivo original em um novo contêiner, fornecendo escala de tempo e compensações. Isso irá pelo menos funcionar para o container mkv, não tenho certeza sobre os outros se você insistir neles.
Na pior das hipóteses, você teria que re-codificar o áudio (ou o vídeo, se você preferir, por algum motivo) para se encaixar. A maioria dos frontends de codificação suporta isso, ou eles podem codificar a saída de um decodificador que suporta as mudanças.