Aqui está um novo servidor X que foi escrito em java:
É de código aberto:
E disponível no mercado (pesquise por 'x server').
No momento, isso é otimizado em termos de mapeamento de teclado para um telefone, portanto, você precisará de um pouco de personalização se quiser usá-lo em um tablet ... Também muitos programas parecem reclamar da falta de recursos.
Acho que é exatamente isso que você está procurando!