O fato de a CPU ser quase totalmente utilizada NÃO significa que ela também não esteja funcionando na GPU. Não all do trabalho de codificação é movido para a GPU, mas a GPU acelera e descarrega algumas das tarefas. Pode haver ferramentas disponíveis para consultar diretamente a utilização do componente GPU (não sei se estão no topo da minha cabeça) - isso confirmaria que sua GPU está fazendo parte do trabalho .
Na minha máquina particular, o codec h264_qsv é executado aproximadamente 5x mais rápido em termos de quadros / segundo do que o codec libx264, embora em ambos os casos a "utilização da CPU" informada esteja próxima de 100%.
[lwobker:/dtop/nobackup/]$ cat /proc/cpuinfo | egrep 'model name'
model name : Intel(R) Core(TM) i7-5600U CPU @ 2.60GHz
[lwobker:/dtop/nobackup]$ ffmpeg -hide_banner -codecs | egrep 'qsv' | egrep '264'
DEV.LS h264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_qsv ) (encoders: libx264 libx264rgb h264_nvenc h264_qsv nvenc nvenc_h264 )