Para usar o Homebrew para instalar o snapshot ffmpeg mais recente do github, tente seu comando com o --HEAD , assim:
brew install --HEAD ffmpeg --with-fdk-aac --with-ffplay --with-freetype \
--with-libass --with-libquvi --with-libvorbis --with-libvpx --with-opus --with-x265