O formato flv por si só é de baixa qualidade. Se você REALMENTE precisar usar flv, terá que escolher: ou fica com a qualidade do youtube ou aumenta a taxa de bits ou, alternativamente, você pode pré-processar o vídeo. O que isto significa? Bem, para obter um denoiser que retire algumas das frequências, aumentando a capacidade de compressão e gerando uma imagem suave ao custo do tempo da CPU. Funciona e funciona muito bem, mais dependendo do conteúdo, pode parecer ainda melhor. Lembre-se, blocos DCT analisam freqüências, e quando eles não podem reproduzir alta freqüência eles vêm com porcaria.
Eu usaria Avisynth 's DCTFilter , mas não sei se funcionaria no Ubuntu. Muito boa velocidade e aumenta consideravelmente a capacidade de compactação (é mais um pré-processador de baixa taxa de bits do que um denoiser, e a única desvantagem é quando você tem bordas bem definidas, como em anime)