Como disse @szatmary: A menos que o intervalo de cor do seu vídeo original tenha sido originalmente ampliado dos 8 bits que você está tentando codificar, você necessariamente perderá essas informações extras ao reduzir a resolução. Não há como 10 bits de informação poderem ser representados em 8. Dependendo do conteúdo, você pode nem perceber essa diferença.
O parâmetro CRF controla a quantidade de compactação com perdas aplicada ao vídeo. O CRF em x264 varia de 0 a 51, em que 0 oferece compactação sem perdas - ou seja, a melhor qualidade possível - e 51 oferecem a pior qualidade. Normalmente, você escolheria um CRF entre 18 e 28. Para a maioria dos vídeos, 18 devem produzir um vídeo que não possa ser facilmente distinguido do original. No entanto, ele ainda será compactado, portanto, se você quiser ter certeza de que - pelo menos nesse sentido - nenhuma qualidade será perdida, você deve escolher um valor de CRF ainda menor como 12. Isso ainda irá degradar o vídeo, mas deve ser imperceptível.