A melhor idéia seria remover lightdm e plymouth* packages, fazer sudo update-initramfs -u e reinicializar. Outras soluções podem existir; ver outras postagens marcadas com headless .
Desta forma, a sua janela de login não virá e você ainda pode iniciar a GUI da CLI com startxfce4 quando for necessário.