Se você está acostumado com o Gnome / KDE, acho que o XFCE4 seria melhor para você, o OpenBox e até mesmo o LXCE pode ser um pouco barebone. Para mim, usar o LXCE / OpenBox é como voltar ao Windows 3.1 às vezes.
E eu nem acho que você precisa usar o nível de execução 3. Se você quer apenas que o servidor sempre inicialize o login no console de texto, e inicie uma GUI conforme necessário somente depois de efetuar login no console, apenas execute "startxfce4" em o console a qualquer momento. Desativar o formulário GDM / LightDM / etc a partir da inicialização.
Se você estiver registrando em outro computador na LAN, recomendo usar tightVNC além disso. Você pode executar o SSH no servidor, executar o "tightvncserver" e, em seguida, conectar-se a partir de sua área de trabalho usando um cliente tightvnc e obter uma GUI de área de trabalho remota completa. É muito mais rápido que outras implementações do VNC. Dessa forma, você pode se conectar ao servidor remotamente e executar uma GUI conforme necessário, sem executar o GDM / LightDM na inicialização.
Apenas para um backgrounder: GDM / LightDM / KDM / etc são "Desktop Managers". O nome pode ser enganoso, pois tudo o que eles fazem é fornecer o login gráfico, o que significa que um servidor X será carregado no momento da inicialização, mesmo que o ambiente completo do Gnome / XFCE não esteja, e consuma uma quantidade considerável de RAM. GDM / LightDM / etc são componentes separados, não necessariamente parte do Gnome / KDE / XFCE / etc, você pode desativá-los completamente ou até mesmo desinstalá-los sem afetar o ambiente da GUI, você acaba de perder o login gráfico.
Para algumas noções básicas sobre como instalar e executar o XFCE no Debian, veja link