"Also, is it possible to just start an X11 session with a single app, like notepad or a file and folder browser?"
Use o encaminhamento X com SSH para encaminhar o aplicativo que você deseja executar localmente; Substitua gnome-terminal no exemplo abaixo pelo nome do seu aplicativo remoto.
ssh -X user@host gnome-terminal