Embora eu não tenha usado isso sozinho, você pode querer olhar para o seguinte Wowza Transcoder AddOn
O Wowza não é gratuito, não sei se existem restrições orçamentárias ou não?
Uma pergunta muito semelhante também foi feita em StackOverflow , lá o OP eventualmente desenvolveu uma solução com o GStreamer . Seu wiki tem uma página sobre transcodificação que pode servir como ponto de partida.