Procure em /etc/rc2.d/ . Provavelmente, há links para /etc/init.d/xdm e /etc/init.d/kdm que você ainda não removeu.
Você também pode editar o arquivo /etc/X11/default-display-manager , que inclui o caminho completo para o gerenciador de exibição padrão que o Debian está usando. Se você substituir o conteúdo desse arquivo por /bin/true , provavelmente estará desabilitando o início de qualquer gerenciador de login também.
Os TTYs são gerados de qualquer maneira. Se nenhum gerenciador de login for iniciado, o TTY1 permanecerá ativo no TTY e você poderá efetuar login usando a linha de comando.