Eu mesmo já o resolvi, sei que não estava sendo muito específico, mas porque eu sou muito novo nessa coisa de codificação de vídeo e não sabia muitas coisas. O prblem era o arquivo encoder.cfg que tinha uma configuração errada por padrão para minha configuração (tipo Sequence)