Você está misturando sua terminologia (que é reconhecidamente confusa com X). O servidor X é executado na máquina que possui o monitor e o videocard, ou seja, no seu caso, o servidor X rodaria na máquina que possui a placa de vídeo para a parede de telas.
Você configura o servidor X na máquina que (como dependerá da placa de vídeo, etc.). Em seguida, o computador onde o software real (Gnome etc.) é executado precisará oferecer XDMCP ou similar, e permitir que você faça o login. Este computador não deve se preocupar com a resolução do servidor X, pois ele só executa os programas X individuais (incluindo o WM). O servidor X deve ser iniciado para se conectar automaticamente ao servidor XDMCP (parâmetro da linha de comando com o X.org).
Apenas por interesse: Que tipo de placa de vídeo suporta 9000x4000?