A desabilitação não funcionou porque a lógica /etc/X11/default-display-manager
do Debian está sendo cancelada, sobrescrevendo-a.
Para fazer o texto inicializar o padrão em systemd (independentemente de qual distro, realmente):
systemctl set-default multi-user.target
Para voltar a inicializar para a GUI,
systemctl set-default graphical.target
Confirmei o trabalho na minha Jessie VM e o Slashback confirmou o mesmo no Stretch.
PS: Na verdade, você não precisa do servidor X em sua máquina para executar clientes X em ssh. O servidor X só é necessário onde a tela (monitor) está.