Não é necessário remover a GUI (unidade, lightdm, compiz, etc.) do sistema.
Você pode deixá-lo e fazer sua inicialização padrão como um modo de texto e, se você precisar de uma GUI, poderá restaurá-la facilmente.
abra /etc/default/grub
como root no seu editor de texto favorito, por exemplo sudo vi /etc/default/grub
E altere a linha GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"
Para GRUB_CMDLINE_LINUX_DEFAULT="text"
e atualizar o Grub. sudo update-grub
Seu sistema sempre será inicializado no modo de texto.
Se uma vez você quiser usar a GUI, você pode começar o lightdm com facilidade, a GUI:
sudo service lightdm start
Aqui são algumas dicas que você pode usar para aumentar o desempenho do seu sistema.