As versões recentes dos drivers opensource Linux OpenGL (isto é, os drivers fornecidos pelo Mesa [1]) suportam a renderização em máquinas headless sem um sistema de janelas. A equipe do Intel Mesa (à qual eu pertenço) usa esse recurso para executar testes OpenGL em máquinas sem cabeça sem servidor X.
Um colega de trabalho e eu adicionamos o suporte para renderização sem cabeçalho ao testuite de Mesa, Piglit [2], usando a estrutura Waffle [3] no backend de GBM da libEGL. (GBM significa Generic Buffer Manager e é usado para gerenciar buffers de GPU sem um servidor de exibição intermediário).
Um possível showstopper, se você quiser seguir essa abordagem, é que, no meu conhecimento, o EGL com GBM é suportado apenas por drivers Linux de código aberto. Se a sua aplicação precisar suportar outros Unix ou drivers proprietários, essa abordagem não funcionará.
Se você estiver interessado em usar o EGL / GBM, posso indicar um código de exemplo.
(A propósito, se você não estiver familiarizado com o EGL, é um substituto moderno do GLX cuja API é independente do sistema de janelas. Se você está confortável com o GLX, então você deve se sentir em casa com o EGL porque os dois APIs são muito semelhantes).
[1] link
[2] link
[3] link