Se o aplicativo remoto é normal, quando ele foi instalado, ele teria colocado todos os componentes X11 necessários para que ele fosse executado, então quando você redirecionasse o monitor de volta para a sua máquina local, ele estaria usando muito de o sistema X11 na máquina remota.
No seu caso, nos comentários, você menciona que este é um instalador da GUI , por isso espera ser executado em um sistema que já tenha o X11 instalado e ele apenas faça uso dele. Portanto, se o X11 não estiver instalado no sistema remoto, ele falhará.
É claro que, se o instalador da GUI fornecer todas as bibliotecas X11 necessárias, o ssh -X ... deverá funcionar, pois redirecionará a saída de exibição corretamente.