Você está lidando com 16 fluxos, então sua CPU tem um trabalho difícil para converter. Você precisa seriamente de poder de CPU suficiente para lidar com todos esses dados.
Também vejo que você está dimensionando cada vídeo. O escalonamento é um processo muito demorado em uma CPU. Talvez você possa configurar seus fluxos de câmera para fornecer um vídeo em escala já, portanto, sua CPU só precisa colocá-los juntos.
Você também pode procurar outras opções de codificação / decodificação, porque alguns codificadores são 10 vezes mais rápidos que os outros.