O pacote no debian para o sistema x window é chamado de "xserver-xorg-core", não "x-window-system-core", o que seria o seu problema.
Então você instalaria com: apt-get instala o xserver-xorg-core gdm.
Se você quiser que o seu sistema seja leve, eu não escolheria o GDM como gerenciador de exibição, pois ele não é muito leve. Eu sugeriria LightDM ou SLiM.
Por fim, provavelmente você também desejará um Gerenciador de Janelas, pois o xserver por si só fornece as janelas, nada mais. Um exemplo de um gerenciador de janelas leve é o Openbox.
Veja o wiki debian para detalhes e exemplos: