Você pode instalar o Xfce emitindo sudo apt-get install xfce4
.
Se você tiver uma conexão de internet ativa durante a instalação, não será necessário fazer o download de todos os CDs. O primeiro ou até mesmo o CD de netboot é suficiente. Durante a instalação, você pode optar por instalar um ambiente de área de trabalho (por padrão, o GNOME); ou antes de iniciar a instalação real, assista através dos menus apresentados (logo após inicializar o instalador), você encontrará ambientes de desktop alternativos para selecionar.