Minha experiência com a NVENC é que ela é realmente inferior à codificação da CPU x264 / x265, especialmente em cenas de movimento rápido ou com riqueza de detalhes.
Isso implica que, em um cenário CBR, sua configuração funciona conforme o esperado. Pode haver algum ajuste possível com sua configuração do ffmpeg, mas o princípio ainda permanece. O YouTube não usa CBR real, e essa pode ser uma das razões.
Uma experiência: quanto mais recente for o seu NV SDK e o seu FFmpeg, melhores os resultados - parece que há muito desenvolvimento ativo acontecendo.