Se ainda não estiver pronto, instale xinit ( apt-get install xinit ). Ele também instalará todas as dependências como xorg e drivers de gráficos.
Você precisa de algum tipo de desktop, você pode instalar um minimalista como openbox ( apt-get install openbox ).
Depois, execute startx em um tty e você deverá ter um ambiente gráfico.
Se você deseja um início automático do ambiente gráfico, isso também é possível, mas atualmente não faz parte da sua pergunta.