Existem dois problemas aqui por que o firefox precisa do RANDR e por que o xserver virtual não o suporta?
Vamos começar com pouco conhecimento sobre o RANDR, ele é usado principalmente para redimensionar a tela e configurar vários monitores.
De uma perspectiva do firefox, a suposição de que todos os Xservers suportam todas as extensões parece ser uma má idéia. Eu enviaria um relatório de bug, especialmente como se o RANDR não fosse suportado, você pode assumir que a resolução da tela não muda, facilitando o fallback.
Da perspectiva do xserver, nada impediria que você desenvolvesse suporte para o XRANDR para um xserver virtual, há pouca demanda para ele, embora seja um item de lista de desejos razoável. Por outro lado, dado que o Xvfb não fornece Visuals para um hack rápido, você pode simplesmente mudar para um xserver diferente. Existem várias implementações do Xvnc que suportam XRANDR, incluindo o Tigervnc. usar o vnc não seria tão eficiente, já que também inclui um servidor vnc e um servidor http, mas ele simplesmente funcionará e você não precisa realmente ver o que está fazendo, mas pode fazê-lo se quiser.