O que você está tentando fazer aqui, nega quaisquer vantagens que você teria em codificar o OpenGL. OpenGL é um conjunto de chamadas de hardware, traduzindo isso em CPU int ou fp.
Adicione um passo extra na CALL, SOLVE, RENDER. Então seria CALL, TRANSCODE, SOLVE [mais lento], RECODE, RENDER.
A chamada inteira solve render ocorre em frações de frações de segundo, então adicionar em transcodificar e recodificar, pelo menos, tomaria 0,010 cada, destruindo assim seus fps.