Poderia ser feito, mas não como desenhado, e provavelmente não ofereceria as vantagens que você procura.
Em um servidor x padrão, o monitor e o teclado estão fisicamente conectados. as exceções são servidores de aninhamento como Xnest, servidores fictícios sem display ou entrada, conversores como o Xvnc e um real estranho.
o servidor X multihead distribuído é um servidor X sem display, ele usa vários servidores X para exibição. Pode, no entanto, ter um teclado e mouse.