Obrigado pela informação sobre a ordem das opções @ bodhi.zazen e @LordNeckbeard. Aparentemente, o codificador libvpx é um pouco mais exigente quanto a isso. Quando eu adicionei a opção -threads após -c: v libvpx, ele usa visivelmente mais núcleos de acordo com o topo.
-threads 0 usa apenas 1 core, -threads 8 usa 2 núcleos e -threads 16 usa 4 núcleos. Eu tentei usar um número maior, mas o codificador diz que mais de 16 segmentos não são recomendados e não usa mais CPU. A velocidade de codificação em si é duas vezes mais rápida agora. Obrigado novamente pela ajuda!