Você terá que mexer em como fazer com que os exibidores os usem, mas:
Você pode iniciar o seu Xorg normalmente, que usará a tela inteira em resolução total, por exemplo
Xorg :123 -ac
A opção -ac desabilita algumas (todas?) restrições que o Xorgs pode ter ao permitir clientes. Então você inicia o Xephyr como o único cliente (você pode querer adaptar a resolução passada como argumento de tela às suas necessidades):
DISPLAY=:123 Xephyr :0 -screen 1720x1200
Xephyr é uma espécie de "overlay Xserver" que interage com os clientes como qualquer Xserver, mas ao invés de cuidar da renderização e entrada (o usuário é parte), o Xephyr conta com outro Xserver para fazer isso.
Como você combina esses comandos depende muito do seu caso de uso. Em geral, aplicativos como gerenciadores de sessão oferecem a você a oportunidade de fornecer um comando para invocar um Xserver.
O que eu fiz para experimentar:
Crie /root/.xinitrc
com o conteúdo
Xephyr :0 -ac -once -query myxdmcphost -screen 1400x1200'
em que 1400 é a largura da minha tela -200 pixels.
Em seguida, corro xinit -- :123 -my -usual -xorg -options -for -my -computer
e, como resultado, recebo uma tela de login e uma sessão que realmente usa toda a minha tela, mas uma coluna de 200 pixels de largura no lado direito.
Para ter o mesmo efeito por, e. GDM você teria que fornecer o comando xinit
algumas vezes no gdm.conf
como o método para invocar um Xserver. Mas eu não posso te dizer do alto da minha cabeça como fazer isso.