Basicamente ffmpeg
suporta codificação e decodificação VP9.
Parece que sua versão do libvpx não suporta o VP9.
Para suporte ao VP9, você deve usar o ramo experimental:
$ git clone -b experimental http://git.chromium.org/webm/libvpx.git
$ cd libvpx
$ ./configure --enable-vp9 --enable-shared
$ make && make install
Isso deve habilitar o VP9 para ffmpeg
, que você deve compilar normalmente, com a opção de configuração --enable-libvpx
.