Um servidor X sem um driver de exibição não seria capaz de exibir nada. Isso existe, por exemplo, Xvfb , que “exibe” em um buffer de memória. Isso tem seus usos, como executar processamento automatizado (por exemplo, teste) envolvendo programas com uma interface gráfica com o usuário, mas você não verá qualquer coisa com ele, por definição.
Se você quis dizer que não quer instalar um driver de vídeo específico para sua placa gráfica e está usando um PC, então você pode usar o Xorg VESA driver. Este é um driver de exibição, acontece de ser um que funciona em praticamente qualquer placa gráfica encontrada em um PC. É bastante limitado, acho que você não pode ultrapassar a resolução de 800x600, e o desempenho é visivelmente ruim mesmo para coisas básicas (esqueça vídeos ou 3D).