Seu palpite está correto, a qualidade do vídeo não tem nada a ver com a codificação de vídeo, mas com o filtro de desentrelaçamento. Você está usando yadif , mas se não estiver satisfeito com sua qualidade, consulte os outros filtros de desentrelaçamento kerndeint , mcdeint e w3fdif . Você pode encontrar detalhes e opções de uso na documentação do ffmpeg .