Por que não apenas definir o Xvfb para o tamanho correto para começar?
Suponho que você poderia executar um servidor X aninhado como Xephyr ou Xnest dentro do Xvfb, e tê-lo à direita resolução e posição, mas isso é muito trabalho extra vs. apenas executando Xvfb -screen 0 640x480x24