O problema é que o seu codificador x265 é construído somente com suporte a 8bpp:
build info [Mac OS X][clang 6.0.0][64 bit] 8bpp
Você tem que recompilar x265. Como você está usando o OS X, eu faria isso com o Homebrew usando o formula option 16-bit
. Use reinstall
ao invés de install
se você já instalou o x265 / ffmpeg no Homebrew antes:
brew install x265 --16-bit
Então, eu reinstalaria o ffmpeg:
brew install ffmpeg --with-fdk-aac --with-x265
Você também pode usar opções como:
--with-freetype --with-libass --with-libvorbis --with-libvpx --with-opus