X é um serviço que ouve solicitações de seus clientes (= aplicativos) para pintar janelas e também passa eventos de dispositivos de entrada para esses aplicativos. Um desses aplicativos é o gerenciador de janelas (por exemplo, no caso do GNOME que é o Metacity ou o Compiz).
E um ambiente de desktop como o GNOME, etc., é na verdade uma coleção de aplicativos que devem ser usados juntos para fornecer uma experiência de usuário mais ou menos confortável; geralmente inclui um gerenciador de janelas, um gerenciador de sessões, algum tipo de lançador de aplicativos, etc.
E sim, é possível iniciar qualquer aplicativo GUI (se for um cliente X, é claro) em um X simples, mas, por exemplo, sem um gerenciador de janelas, todas as janelas não terão moldura (sem borda, sem barra de título) e serão colocadas na mesma posição por padrão (o canto superior esquerdo). X em si é bastante "burro" quando se trata de tais coisas ...