Ao especificar o parâmetro −fbdir , está criando os arquivos mapeados na memória contendo a memória framebuffer , não um dispositivo de buffer de quadros.
De acordo com fbset manual , o -fb aceita apenas o buffer de quadros nó do dispositivo, não um arquivo mapeado na memória. Então eu acredito que a sintaxe correta seria:
fbset -fb /dev/fb0 500x500
em que /dev/fb0 é seu dispositivo de buffer de quadros (por exemplo, /dev/fb/0 ou /dev/fb0 ).
Para tornar o dispositivo de buffer de quadro conhecido como X, defina FRAMEBUFFER variable, por exemplo,
export FRAMEBUFFER=/dev/fb0
Veja também man fbdev para mais detalhes.
Para ler /tmp/Xvfb_screen0 , você deve usar o comando xwud , por exemplo,
xwud -in /var/tmp/Xvfb_screen0
que mostrará a tela 0 do servidor.
O mais provável é que não seja possível alterar a resolução no servidor X existente, então, provavelmente, é necessário executar novamente o servidor Xvfb ou invocar outra tela com resolução diferente.