Em resposta a sua atualização: dependendo de como você está fazendo o download do vídeo, talvez você não esteja recebendo a melhor versão de qualidade hospedada pelo YouTube. Se você estiver usando clive (ou cclive ) , -f best
terá o melhor que puder.
Se você não quiser perder dados ao retirar o áudio de um arquivo de vídeo, converta-o para .wav ou certifique-se de não estar codificando novamente.