O motivo nem tudo é removido é por causa do pacote do tipo "tarefa". O Debian faz pacotes que seguem um conjunto de regras alternativas. "Este pacote ou esse pacote" no conjunto de regras. Se você tiver o task-desktop instalado, deverá ter pelo menos uma área de trabalho para atender às suas dependências e, portanto, ela não será autorada automaticamente. Remova o desktop de tarefas para eliminar a dependência do KDE OU instale outra das tarefas de desktop como o task-gnome-desktop.
Por exemplo:
apt-get install task-gnome-desktop
apt-get purge task-kde-desktop