Você pode seguir a cadeia de metas do ponto em que parou e carregar manualmente o destino gráfico como se não tivesse parado no destino de vários usuários:
sudo systemctl start graphical.target
Isso vai lidar com tudo corretamente.
Mas tenha em mente que isso iniciará o LightDM, que por sua vez iniciará o Unity no login, e não o Unity diretamente.
Para deixar a área de trabalho gráfica novamente em favor do console, carregue o multi-user.target:
sudo chvt 1 && sudo systemctl start multi-user.target
O sudo chvt 1
também alterna de TTY7 (GUI) para TTY1 (console), porque senão você ficaria em uma tela preta.