Depois de examinar os recursos do sistema no aplicativo do monitor do sistema, ficou óbvio que o computador não conseguia acompanhar a captura de tela.
Esta solução foi algo que eu não queria. Reduzi a taxa de quadros para cerca de 13 fps e estava sincronizando muito melhor, mas perdi toda a taxa de quadros! A libx264 não foi eficiente o suficiente para torná-lo muito melhor. Se alguém tiver esse problema, verifique os recursos do sistema e você provavelmente descobrirá que a CPU está sendo executada em até 100%.