A versão do Xvfb incluída no Xquartz no MacOS não suporta o GLX:
$ Xvfb +extension GLX
[mi] Extension "GLX" is not recognized
[mi] Only the following extensions can be run-time enabled:
[mi] Generic Events
[mi] Composite
...
É possível ativá-lo? O que está envolvido?
Editado para adicionar: Eu tentei executar o Xvfb com a extensão GLX em uma VM Linux. Ele roda bem, mas na verdade não renderiza os gráficos do OpenGL. Talvez eu tenha usado a configuração errada para a exibição. Eu usei
Xvfb :1 -screen 0 1024x768x24 +extension GLX +render -noreset -fbdir temp >xsession.log 2>&1 &
ou talvez o Xvfb simplesmente não renderize o OpenGL.