Encontrei um tópico muito útil aqui com base no qual Eu acredito que sei como fazer isso funcionar.
Parece que deve ser suficiente apenas executar o Xvfb e configurar a variável de ambiente DISPLAY de acordo antes de executar o aplicativo X de interesse. Uma maneira de verificar se está funcionando é usar x11vnc e conectar via VNC ao servidor.