Sim, o XVFB faz parte do x.org e está licenciado sob a Licença MIT .
Como eu disse, é parte do projeto Xorg e (AFAIK) não há download de código fonte separado para ele. Ele compartilha muitos códigos com o servidor de exibição Xorg. Você pode baixar toda a fonte Xorg de os espelhos listados aqui , mas será uma tarefa bastante assustadora entende isso. Há alguma ajuda na seção Início do Xorg Developer .