Veja esta resposta sobre o mesmo tópico para começar você fora.
Existem algumas ferramentas baseadas em interface do usuário de terceiros que eu experimentei, mas a maioria está inchada ou não funciona corretamente. Sua melhor aposta provavelmente usará ffmpeg ou avconv e personalizará os parâmetros para atender às suas necessidades. Observe estas duas opções para ajustar a qualidade (lembre-se de que sua qualidade dependerá da qualidade da sua fonte):
-
-crf(18-28 é visualmente "sem perdas") -
-qscale:v(0-10, 10 sendo o melhor. Documento relevante )
Consulte a página de manual do ffmpeg para obter mais detalhes.