Ao codificar um vídeo para transmissão adaptativa, você normalmente codificaria os fluxos alternativos em diferentes taxas de bits (para uma determinada resolução) e diferentes resoluções. Depende das capacidades do (s) dispositivo (s) que você deseja suportar. Dê uma olhada nas recomendações de codificação HLS da Apple para um exemplo. Você sempre quer gerar suas variantes a partir de uma fonte de alta qualidade (HD). Para as versões de resolução mais baixa, o downscaling ocorrerá durante o processo de transcodificação.
Se você reproduzir uma versão de baixa resolução do seu vídeo no modo de tela cheia em um dispositivo com tela de alta resolução, o player aumentará a intensidade (se não houver fluxos alternativos) para corresponder às dimensões da tela, mas a qualidade não será bom - a imagem ficará desfocada. É por isso que geralmente é uma boa ideia ter várias versões em diferentes resoluções.