Eu perdi a linha na documentação:
Xnest supports all standard options of the sample server implementation. For more details, please see Xserver(1). The following additional arguments are supported...
Portanto, a linha de comando correta é:
Xnest :1 -geometry 1200x1000+0+0
Para obter programas nesta exibição, defina DISPLAY
para :1
ou inicie-os com -display :1