A alternativa ou instalação do servidor é realmente a melhor maneira de conseguir isso. Mas desde que eu tenho algum tempo livre para arrumar alguns problemas. Aqui está uma solução para sua pergunta. (Isso no Ubuntu 11.10)
1) Comece desativando gdm / lightdm executando
echo "manual" | sudo tee -a /etc/init/{gdm,lightdm}.override
2) Edite a parte vt.handoff=7 em /etc/grub.d/10_linux Isso pode ser feito usando
sudo sed -i~ s/vt\.handoff=7// /etc/grub.d/10_linux (Isso também deixa um backup chamado 10_linux~ apenas no caso).
3) Remova as opções quiet e splash de GRUB_CMD_LINUX_DEFAULT in /etc/default/grub executando
sudo sed -i~ s/quiet\ splash// /etc/default/grub (backup como grub~ )
4) Atualize /boot/grub/grub.cfg executando
sudo update-grub
5) Reinicie e alegre-se.
Agora é só uma questão de remover pacotes indesejados / não usados.