O Xfree86 (http://www.xfree86.org/) inclui servidores X "pequenos" em sua compilação. Eu acredito que eles são específicos de placa de vídeo, em que há um servidor MGA, e um servidor ATI, etc, etc. Não há módulos carregáveis.
Eu criei o XFree86 a partir do código-fonte de anos atrás (no Slackware 3.2!), mas acho que não tentei os servidores "pequenos" para ver se funcionavam. O resto da compilação funcionou bem.
Eu experimentei o XFree86 sob um kernel Linux mais moderno (2.6.35, eu acho) e distro neste verão, e ele não iria compilar sem mods significativos de fontes, algumas das quais não pareciam claras em como fazer para mim . Então, eu não posso dizer se o Xfree86 atenderia às suas necessidades ou não.