Na verdade, se eu entendi sua necessidade corretamente, você pode simplesmente ignorar o TCP.
Xvfb :0 -nolisten tcp
Depois disso, funciona:
DISPLAY=:0
xterm
E você pode verificar com netstat -ntlp | grep Xvfb
que o Xvfb não tem portas abertas.