Sim, é possível. Mas bugs podem acontecer. Os drivers de vídeo são bastante complexos e a execução de vários servidores X ao mesmo tempo não é muito comum, por isso não é preciso fazer muitos testes.
Bugs, por definição, são comportamentos não intencionais. Não há um conjunto fixo de “consequências” de executar várias sessões X. Se não houvesse um bug no seu driver, funcionaria bem.