A transcodificação (o que você deseja fazer) pode ser complicada em termos de qualidade devido à maneira como o programa decodifica o material de origem. Decodificadores melhores podem ajudar, mas a melhor solução é mais taxa de bits de codificação (e tamanho de arquivo maior).
Se você quiser usar o vidcoder, mas quiser que ele seja mais rápido, comece com o perfil normal e aumente substancialmente a taxa de bits (tente a qualidade de 15 ou 12). Isso será apenas um pouco mais lento do que antes, mas oferecerá uma qualidade muito melhor. O mesmo pode ser feito com a taxa de bits de áudio (160Kb / s +). Os perfis de alta qualidade exigirão mais poder de CPU devido a itens como b-frames, quantização adaptativa, controle de taxa de bits de 2 passos, CABAC e várias outras opções, que fornecem melhor qualidade de imagem com taxas de bits menores.
As opções de qualidade também podem melhorar a qualidade mesmo com altas taxas de bits. O processador que você está usando é ... lento. Um computador projetado para edição de vídeo será substancialmente mais rápido e permitirá o uso de melhor controle de qualidade em uma taxa de bits em tempo real.
Se um tamanho de arquivo maior for inaceitável, a troca é por configurações de melhor qualidade, que são muito mais lentas. Se isso ainda for inaceitável, compre um novo computador rápido ($$$$$).