Esta pergunta é semelhante a Como iniciar o Xephyr sem sleep -ing .
Seus aplicativos tentam acessar o Xvfb antes que ele esteja pronto. A maneira mais limpa de resolver isso é usar o xinit.
Execute o Xvfb com
xinit script.sh -- /usr/bin/Xvfb :10
(inclua export DISPLAY=:10 no script.sh)