Você precisa reconfigurar o grub para que ele seja inicializado no modo de texto. Não se preocupe, é fácil.
Etapas:
Etapa 1
No tipo de terminal
sudo nano /etc/default/grub
Etapa 2
alterar linha
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
para
GRUB_CMDLINE_LINUX_DEFAULT="text"
Etapa 3
No tipo de terminal
sudo update-grub
Notas:
Nota # 1
Isso não remove nenhum ambiente de desktop, apenas faz o boot do Ubuntu no modo terminal.
Nota # 2
Você absolutamente pode usar o Xubuntu-desktop em vez do xfce4, apenas tenha em mente que às vezes quando você instala ambientes de desktop eles listarão um gerenciador de desktop (também conhecido como tela de login) como uma dependência. O resultado é que o computador irá iniciar a inicialização no modo gui, a menos que você reconfigure-o para não.
Fontes:
link