Eles lidam com praticamente tudo (que não está exibindo gráficos no hardware) para X. Logins, saudações, passe X a configuração para conexões externas, escolha de sessão.
Você não precisa de um mestre pesado, mas eu diria que o GDM não é tão pesado. LightDM certamente não é. Mas se você está realmente tentando hiper-coisas, dê uma olhada em NoDM . É muito cru e destina-se apenas a sistemas de usuário único. Ele não fornecerá segurança a você e poderá prejudicar o que já existe.
Eu uso o NoDM no nosso media center, que apenas inicia o X e então lança o Boxee.