O que você está tentando não é realmente possível, ou provavelmente não vai te dar o que você quer.
Por este projeto do GitHub LEIA-ME:
Despite its name, most programs in Mac OS X actually does not use X (it uses something called Core Graphics or Quartz instead). Even if you compile ffmpeg with x11grab you will only be able to record applications that runs X, like gimp and wireshark.
Portanto, mesmo que você compile o FFmpeg com x11grab
, não será possível capturar a tela.
Você pode instalar o XQuartz , que lhe dará a capacidade de ativar x11grab
e compilar pelo menos eu espero que sim, mas suas possibilidades serão muito limitadas.
Essencialmente, novamente citando Albert Veli:
Another option is to actually ask the kind ffmpeg developers if they might implement a "quartzgrab" format option sometime in the future.
Até lá, talvez você queira recorrer ao QuickTime para gravar sua área de trabalho ou verificar outras ferramentas de gravação de área de trabalho, como o Snapz Pro X.