Dê uma olhada no ffmpegX .
Eu nunca tentei, mas como é baseado no ffmpg muito poderoso eu acho você deveria tentar.
Editar:
Outras leituras na página da Web (obrigado John T) revelam que você precisa instalar o ffmpeg separadamente, mas eles fornecem um link, mas apenas para a fonte ffmpg. Infelizmente, distribuições binárias para o ffmpeg são difíceis de encontrar e nem todos estão prontos para construir coisas do zero.
Então, meu conselho é ver se é mais simples usar o mpeg2enc ou o mencoder como backend. (links encontrados em resposta de John T )