Sem o Xorg no servidor, você não pode iniciar o encaminhamento -X do seu cliente.
Se você estiver interessado em editar arquivos, a maneira mais fácil é montar o servidor em seu computador local usando sshfs(1)
. Você pode consultar a página de manual para mais informações sobre isso.