Não, não é possível executá-lo usando o encaminhamento x11, porque mesmo que o aplicativo seja executado no servidor remoto, ele ainda precisa se comunicar com a nossa máquina, onde está o X-Server em execução (e sua GUI).
Você deve usar nohup sem o encaminhamento de X11 se não for absolutamente necessário executar a GUI.
Se você realmente precisa de GUI, você deve usar o VNC para este caso, já que ele roda toda a pilha no lado remoto.