Você não pode. Você teria que reprogramar x264 (o codificador H.264) para fazer isso.
Você realmente precisa ir para a fonte ( encoder/set.c
) e codificar, pois não acredito que tenha sido destinado a alguém definir esse valor.
Ou você corrige manualmente os bytes no SPS correspondente a esse valor, correndo o risco de quebrar a sintaxe H.264 (porque outros parâmetros dependem desse valor, é claro).