Não existe uma versão do Xfce realmente. Xfce, Gnome, KDE, etc, são apenas ambientes de desktop, eles podem ser instalados em qualquer distribuição Linux. Por exemplo, eu uso o Linux Mint Debian (LMDE) e tenho Gnome3, Mate, Cinnamon e Xfce instalados. Eu posso escolher qual delas eu quero rodar no login.
Muitas distribuições oferecem versões com um DE pré-instalado. Por exemplo, o Ubuntu usa o Unity e o Kubuntu usa o KDE. Não há nenhuma razão para você não instalar o KDE no Ubuntu e no Unity no Kubuntu. Os ambientes de área de trabalho e os gerenciadores de janela são apenas mais um software executado na sua máquina.
A única diferença entre, por exemplo, LMDE-Xfce e LMDE-Cinnamon é qual DE eles instalaram por padrão. Você pode adicionar quantos adicionais desejar.