Não, você não pode simplesmente dar a um programa um Xdisplay. Você precisaria de um gerenciador de janelas bastante sofisticado para isso. No entanto, acredito que você esteja falando do Xserver, não do Xdisplay, e sim, você pode criar várias instâncias do Xserver e executar apenas um programa dentro delas. No entanto, um programa AFAIK não pode adotar um Xserver, especialmente o tamanho da tela.
A partir do que você deseja, é provável que você use a variante Xvnc do Xserver e o Xvnc aceita um argumento -geometry widthxheight
, que é provavelmente o que você deseja. No entanto, não acho que a geometria possa ser alterada depois que o servidor for iniciado.