Sim, você pode. Você precisará instalar o gdm ou o kde e, em seguida, fazer o tunelamento do X sobre o SSH.
ssh -X server
Agora, você pode iniciar programas que requeiram o servidor de janelas X, e você obterá janelas gráficas. É provavelmente melhor apenas executar seu servidor a partir da linha de comando. Você nunca precisa realmente de um sistema de janelas.