O bom e velho Wikipedia pode muito bem ajudar. Fora disso, eu acabei de ler o maior número de manpages possível para todos os arquivos e programas de configuração. Eu achei que a documentação do Xs é melhor em suas páginas de manual.
Pessoalmente, não vejo a necessidade de entender o X mais do que sinto a necessidade de entender o que minha placa gráfica está fazendo. Eu escrevi pedaços de código usando o X libs e fiquei feliz o suficiente apenas entendendo essa pequena parte do sistema de janelas. Pois o que vale a pena é que o KDE / GNOME esteja muito longe de ser pesado em hardware moderno também, mas se você encontrá-los demais, tente o XFCE para fontes.