Se ainda não estiver pronto, instale xinit
( apt-get install xinit
). Ele também instalará todas as dependências como xorg
e drivers de gráficos.
Você precisa de algum tipo de desktop, você pode instalar um minimalista como openbox
( apt-get install openbox
).
Depois, execute startx
em um tty e você deverá ter um ambiente gráfico.
Se você deseja um início automático do ambiente gráfico, isso também é possível, mas atualmente não faz parte da sua pergunta.