Existe possivelmente uma maneira mais fácil de fazer isso sem criar a partir da origem ou executar um deb de um USB. Tente conectar seu computador através de um cabo Ethernet LAN e tente o seguinte: (se você simplesmente está faltando as dependências que o xfce usava, então os dois comandos a seguir devem funcionar para corrigir as dependências do aplicativo)
sudo apt-get update
sudo apt-get install -f
Para instalar o desktop xfce4 a partir do zero, tente o seguinte:
sudo apt-get install xfce4