Sim, você pode ter vários clientes por tela Xfvb, assim como seu monitor X pode ter vários clientes.
Lembre-se que o Xvfb é essencialmente um XServer sem tela, apenas descascando a escrita e manipulação da placa de vídeo.
Estou curioso para saber por que você precisa disso? Precisávamos executar isso para código Java que não podia ser executado sem cabeça. Ele precisava de um buffer de quadros para gravar, mesmo que estivesse descarregando apenas em um arquivo.