1) Crie um Applescript pelo AppleScript Editor e salve-o (por exemplo, QTRecord.scpt):
tell application "QuickTime Player"
activate
start (new movie recording)
end tell
2) Abra o Terminal e execute o script na linha de comando:
osascript QTRecord.scpt
Ou a coisa toda como um verso:
osascript -e 'tell application "QuickTime Player" to activate' -e 'tell application "QuickTime Player" to start (new movie recording)'