Eu tenho feito algo parecido. A maneira mais fácil de pensar é instalar o X e o aplicativo, bem como as dependências mínimas, e então usar o encaminhamento do X para ver o aplicativo.
No Linux / Mac, é tão simples quanto o aplicativo host ssh -X, e há aplicativos para fazer a partir do Windows, bem como com um aplicativo de terceiros.