O X-server em que xclients estão conectados é definido pela variável DISPLAY. Para o primeiro Xserver local, geralmente é: 0.0. Então - se você está logado remotamente para a máquina com o Xserver local, e você quer rodar algo localmente - configure: exportar DISPLAY =: 0.0 e, em seguida, execute seu aplicativo Xclient - ele se conectará ao /tmp/.X11-unix/X0 e será executado localmente.
Mas - se você quiser pular o ssh forwarding e rodar remotamente a aplicação xwindow sem o ssh - você pode fazer isso também - você deve abrir o Xserver para aceitar conexões remotas, adicionar xclient usando xhost e então definir a variável DISPLAY para ip: xserwer