Não é possível. É apenas via NVENC. Consulte o link
Há bastante informação sobre o uso do codificador de hardware embutido em placas NVidia baseadas no Kepler para codificar o vídeo. Tanto quanto eu entendi todos eles apenas passam a codificação para codificador de hardware, sem realmente usar CUDA. O que eu estou tentando alcançar é acelerar a codificação de vídeo usando o antigo CUDA em hardware antigo pré-Kepler (GTX 570 aqui, Fermi).
É possível?
Não é possível. É apenas via NVENC. Consulte o link