Este comando funciona para mim com o codec h264.
ffmpeg -i a.mp4 -c:v libx264 -maxrate 800k -bufsize 800k -ar 48k -ab 192k b.mp4
No entanto, com libx265 em vez de libx264 nesse comando, a saída será exatamente igual à que seria sem os parâmetros maxrate e bufsize. É como se o h265 ignorasse esses parâmetros. É esse o caso, ou existe outra razão pela qual isso pode não estar funcionando?
ATUALIZAÇÃO:
Eu mudei a libx265 para hevc_nvenc. Agora, parece processar maxrate e bufsize corretamente, mas não b: v. Em contraste, a libx265 pode processar b: v mas não o maxrate e o bufsize acima mencionados!
UPDATE 2: O wrapper x265 do FFmpeg foi atualizado e agora é finalmente capaz de pegar o bufsize e o maxrate do libavcodec.
O wrapper x265 do FFmpeg não pega o bufsize e o maxrate do libavcodec, então, por enquanto, você pode passá-lo de maneira privada.
ffmpeg -i a.mp4 -c:v libx265 -x265-params "vbv-maxrate=800:vbv-bufsize=800" ...
As unidades estão em kilobits, ao contrário do libavcodec, que estão em bits.
Eu atualizarei este post assim que o wrapper pegar as opções genéricas.