Para isso, você precisa do X Windows, no mínimo, e de um ambiente de desktop como o Gnome ou o KDE (suponho que você queira um DE).
Use
yum grouplist
para descobrir quais grupos estão disponíveis. Se você quisesse o KDE, por exemplo, precisaria instalar os seguintes grupos:
yum groupinstall "X Window System" "KDE (K Desktop Environment)"