Esse comportamento é um bug reconhecido, vamos esperar que ele seja corrigido na próxima versão: link
Enquanto isso, meu google-fu sugere que você execute o vnc-server em vez do Xvfb. Pode ser executado ao mesmo tempo que o seu servidor X. Você pode executá-lo como usuário do apache, portanto, o apache não terá problemas para exibir aplicativos X nesse buffer.
Essa conexão é autenticada apenas por senha, portanto, não importa qual usuário está se conectando ao vncviewer. No entanto, observe que o protocolo VNC não é necessariamente seguro, portanto, certifique-se de usá-lo somente localmente e configure seu firewall apropriadamente.
Inicie o servidor vnc como usuário do apache:
vncserver :2 -geometry 1024x768
- Isso deve ser feito apenas uma vez
No script executado pelo apache, só execute o aplicativo; não inicie nenhum vncserver ou vncviewer:
DISPLAY=:2.0 inkscape -z -W drawing.svg
O Google encontrou a resposta aqui: link