X usa o primeiro terminal virtual livre, e os seis primeiros estão agora alocados para gettys pelo upstart de /etc/init/tty[1-6].conf
e tradicionalmente pelo init de /etc/inittab
.
Para escolher um terminal virtual específico para X, você passa o parâmetro 'vtXX' (veja X -help), onde XX é o número do terminal desejado. Há um monte de maneiras de passar parâmetros para o X, mas isso é coisa para outra pergunta. :)