A solução na qual estou trabalhando é usar o AppleScript para automatizar a GUI HDPVRCapture (custa dinheiro) e, em seguida, o pós-processamento o arquivo resultante usando o ffmpeg.
Eu consegui pressionar o botão "Record" do HDPVRCapture usando este AppleScript:
tell application "System Events"
tell process "HDPVRCapture"
click button "Record" of window 1
end tell
end tell
E o seguinte AppleScript para pressionar o botão "Stop":
tell application "System Events"
tell process "HDPVRCapture"
click button "Stop" of sheet 1 of window 1
end tell
end tell
Eu então usarei um script python para amarrá-los e chamar o ffmpeg para o pós-processamento.