Desativar deve ser tão simples quanto:
sudo mv /etc/init/kdm.conf{,disabled}
O mesmo deve ser verdade para gdm (que também usa um script inicial em /etc/init/ ).
Se você quiser fazer um ajuste fino, edite /etc/init/kdm.conf e altere suas declarações start on . Apenas comente toda a seção e você ainda poderá executar sudo start kdm quando quiser uma exibição gráfica.