Selecione o codec de vídeo "H.265 (x265)" e, em seguida, em Perfil H.265, selecione "Main10" em seguida, em Container selecione "MP4". Tente, se você ainda perder alguma qualidade, tente aumentar a taxa de bits média.
Se você está tentando ir para o H.264 da HEVC, use o H.264 Profile High e duplique sua taxa de bits avg.