A melhor idéia seria remover lightdm
e plymouth*
packages, fazer sudo update-initramfs -u
e reinicializar. Outras soluções podem existir; ver outras postagens marcadas com headless .
Desta forma, a sua janela de login não virá e você ainda pode iniciar a GUI da CLI com startxfce4
quando for necessário.