Existem vazamentos de memória conhecidos no Xvfb; veja, por exemplo, o erro da Red Hat # 498357 (e # 201536 antes dele.
Reiniciar o Xvfb após um intervalo de tempo ou quando o tamanho da memória atingir um determinado limite ( [ $(ps -o vzs= $pid) -ge $threshold ]
) ou após um determinado número de capturas de tela, parece soluções razoáveis até que esse bug seja localizado e corrigido.