sudo nvidia-uninstall era a melhor maneira de desinstalar o driver do que o apt remove --purge nvidia * . (o driver foi instalado com o sudo ./NVIDIA-Linux-x86_64-340.102.run)
Depois disso, nenhuma das glxinfo , Xvfb etc. não funcionava devido a:
ldd /usr/lib/Xvfb
...
libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fd51461c000)
libGL.so.1 => not found
libpixman-1.so.0 => /usr/lib/x86_64-linux-gnu/libpixman-1.so.0 (0x00007fd514374000)
...
Estava tentando consertá-lo com diferentes tentativas de instalação do libgl1-mesa-dri ... , mas parece que o ldconfig corrigiu isso automaticamente.
Agora posso executar qualquer aplicativo OpenGL com apenas Xvfb-run -s "-screen 0 640 x 480 x 24" appname sem problemas ... no GLX extension ... ! :)
Espero que seja útil para alguém que esteja tentando executar o aplicativo OpenGL em headless servidor Ubuntu com drivers nvidia instalados anteriormente.