A velocidade de medição entre dois ambientes é muito subjetiva e não é algo que pode ser realmente "medido" de forma precisa e definitiva. Depende da máquina inteiramente. Sim, o XFCE deve ser médio mais rápido que o GNOME, mas realmente depende da máquina.
Minha máquina é WS Serval do System76. Ele tem uma unidade M.2, Nvidia 6 GB GeForce GTX 970M, i7-4790 de 3,6 GHz e 16 GB de DDR3 de canal duplo HyperX a 1866 MHz.
Ambos são da mesma velocidade na minha máquina ... muito rápido. Não há diferença entre eles. Se eu iniciar uma renderização do Blender, ela levará o mesmo tempo nos dois ambientes. Às vezes, será mais rápido em um, às vezes mais rápido no outro, depende de outros programas e do estado atual do computador, mas, para mim, tem a média da mesma velocidade, sem diferença.
Acho que as maiores diferenças entre os DE's são o tempo de inicialização (como o login) e talvez algumas animações de janelas (mas cada DE pode ser configurado para ter / não ter animações). Fora isso, programas, renderização, qualquer coisa realmente é a mesma velocidade.
Não é como se estivéssemos comparando o Windows com o Linux ou até mesmo com um kernel compilado para outro. Ambos os DEs estão usando o mesmo ambiente, o mesmo hardware, os mesmos programas.