Acho que você está se referindo ao xvfb - a capacidade de executar em um framebuffer.
Você precisa especificar uma resolução e profundidade de cor, bem como o número de exibição nominal
Uso:
xvfb :1 -screen 0 800x600x8 &
export DISPLAY=":1"
java application_name.jar
ou menor:
xvfb-run -a -e /tmp/some/log/file.log java -jar /home/user/somejava.jar
-a
escolhe um número de exibição automaticamente, -e file
especifica um arquivo de log para mensagens de erro.