Depende como você inicia o X depois de desabilitá-lo no momento da inicialização, eu acho.
Se você chamar um gerenciador de exibição, como lightdm (ou seja, sudo service lightdm start ), precisará parar o serviço novamente ( sudo service lightdm stop ).
Por outro lado, se você iniciar uma sessão de desktop via xinit (usando o comando startx ), simplesmente sair da sessão (usando a função Log out... da área de trabalho ou uma linha de comando equivalente como gnome-session-quit ) deve retornar você ao prompt da CLI.