Você não forneceu detalhes de sua versão ou opções do Handbrake, nem dos codecs e taxas de bits de suas fontes nem transcodifica os resultados, mas vou tentar acertar. O que você chama de perda de nitidez é o resultado de três gerações de codificação de vídeo com perdas. Em suma, as coisas ficaram desfocadas porque você dizimou a qualidade da fonte original.
Primeiro, vamos gerenciar as expectativas. Passar de 1280x720 para 852x480 é uma redução de > 50% no número de pixels, mas provavelmente não resultará em um arquivo 50% menor E um que atenda aos seus padrões de qualidade. Talvez se você estivesse codificando os dois arquivos da mesma fonte original, mas não deveria se surpreender que um arquivo de resolução / bitrate maior produza uma imagem melhor (projetada em qualquer janela de tamanho) do que uma versão reduzida de bitrate / escalada / recompactada.
Meu palpite é que seu vídeo passou de uma fonte 720p / 1080p de alta qualidade (alta taxa de bits h264 ou VC-1, provável BluRay) para seu arquivo (720p faixa intermediária bitrate h264) para essa tentativa de transcodificação (480p menor taxa de bits h264) . Esse arquivo já passou por um algoritmo de compactação com perdas duas vezes e você fica surpreso quando uma terceira rodada de compactação combinada com uma redução de taxa de bits e dimensionamento tornou o arquivo menos nítido? Isso é apenas senso comum.
Se você tiver acesso à fonte original que copia de lá, você terá definitivamente o menor arquivo que atenda aos seus padrões de qualidade. Remover apenas uma geração com perdas produzirá resultados significativamente mais nítidos. Se um arquivo muito menor for realmente importante (por exemplo, você comprou um iPad de 16GB e deseja maximizar a quantidade de vídeos em vez da qualidade de cada um) sinta-se à vontade para definir arbitrariamente uma taxa de bits média de vídeo e perder tempo com a codificação de 2 o arquivo próximo ao tamanho desejado.
Mas se você estiver realmente preocupado com a qualidade, defina as configurações x264 como 'Qualidade Constante' e renderize um clipe de 30 segundos várias vezes usando vários valores de CRF (Fator de Taxa Constante - uma unidade arbitrária) para encontrar empiricamente o valor de CRF atende às suas necessidades. Embora o HandBrake ofereça um enorme controle deslizante de 0 a 51 para o CRF, os valores sãos estão no intervalo de 19 a 24 (o padrão é 20). Depois de selecionar sua fonte, você pode alterar a alternância de capítulos para segundos e escolher qualquer intervalo de 20 a 30 segundos que queira comparar. Renomeie o arquivo de destino (por exemplo, "test-crf20.m4v" ou qualquer outro) clique em "Add to Queue", ajuste o CRF um pouco para renomear e repita. Lote render meia dúzia e compare cada um deles para a janela VLC redimensionada. Escolha o arquivo mais pequeno que não pareça degradado e tente codificar o vídeo inteiro com esse CRF e veja se obtém a economia de tamanho de arquivo que você está procurando com um vídeo que ainda é 'bastante nítido'.