XDM é o gerenciador de exibição do X Windows, Xorg é o servidor X Windows, ambos são necessários (ou uma alternativa adequada). Eu suponho que a razão pela qual algumas pessoas não mencionam o Xorg é porque ele é automaticamente instalado ao lado de outro pacote (teria pensado que o gnome-core o tem como uma dependência).