Na verdade, ele precisa de um X em execução para desenhar os widgets: a menos que o aplicativo tenha uma opção para ser executado como um daemon ou algo assim, não há um caminho direto.
Mas vamos pensar: se podemos redirecionar seu soquete de exibição via SSH, talvez possamos aceitar todos os pedidos X e simplesmente não fazer nada? SIM! Aqui está o recibo:
Primeiro, você precisará ssh -X user@server opera de uma máquina remota para configurar a operação via GUI para que ela seja executada. Feito? Ok, feche então.
Agora você pode enganá-lo ao pensar que o X está sendo executado: Xvfb - um "falso servidor X" - é feito para esse tipo de coisa: emula um framebuffer mudo usando memória virtual. Há um script xvfb-run no pacote xorg-server que facilita. Note que você ainda precisa instalar o servidor X para obter o Xvfb (a menos que haja uma porta separada por aí).
Felicidades!