Não é possível executar um aplicativo destinado a X na linha de comando.
Mas, como @cylgalad disse, você pode ter qualquer ambiente de desktop e colocar esse aplicativo para ser executado exclusivamente.
Tente instalar um ambiente de desktop leve, como o xfce ou o fluxbox.