Ok, vamos tentar resumir e não entrar em um troll (feio).
GNOME é o ambiente mais comum atualmente (seja conhecido: não é meu;)). Ele usa o conjunto gráfico Gtk (para o Gimp ToolKit, já que ele foi criado para o Gimp inicialmente). A ideia principal por trás do GNOME está próxima da ideia por trás dos sistemas UNIX em geral: um programa = uma função. Cada programa tem um uso específico e os programas geralmente não tentam fazer mais do que deveriam. É bastante comum que os programas implementem sua própria maneira de gerenciar dados também. No que diz respeito ao estilo, as pessoas que não gostam do GNOME geralmente não gostam da aparência e da ergonomia de suas caixas de diálogo (abrir / salvar / etc.)
O KDE é outro ambiente de área de trabalho muito antigo. De fato, o GNOME foi originalmente criado para substituir o KDE porque o KDE é construído sobre o Qt (como um kit de ferramentas gráfico), que não era de código aberto na época (mas agora é). O KDE é um projeto enorme e unificado, que tem uma abordagem bem diferente do projeto GNOME. Muitos programas no KDE fazem algumas coisas. Não é raro que os programas do KDE fiquem muito grandes e multifuncionais (veja o Konqueror, por exemplo). Alguns gostam disso, outros não. Pessoas que não gostam do KDE costumam dizer que parece & parece muito com o Windows (realmente depende do estilo / tema que você aplica na verdade) ou parece infantil. O KDE mudou muito nos últimos anos com o lançamento da série KDE4, que ainda é um pouco instável (comparado com o que o KDE3 costumava ser), mas ficou bastante usável desde o lançamento 4.3.
O XFCE é um ambiente leve (embora não o mais leve). O Xubuntu foi inicialmente criado para máquinas antigas que não podiam rodar o GNOME ou o KDE corretamente. O XFCE usa o Gtk como o GNOME, e alguns programas do Xubuntu são na verdade os mesmos do Ubuntu, ou às vezes versões leves deles.
Em geral, é melhor evitar misturar ambientes, não porque somos apenas pessoas extremistas que escolhem um lado e não se afastam dele, mas porque ele carrega mais bibliotecas gráficas a cada vez (Gtk e Qt principalmente). Como eu disse, o KDE é geralmente um ambiente mais unificado, então ele também gera mais dependências entre programas, o que significa que instalar um programa KDE em um ambiente GNOME pode parecer pesado quando todas as bibliotecas do KDE carregam apenas um programa, enquanto carrega Um programa GNOME (como o Gimp) dentro do KDE não será tão pesado, já que os programas Gtk não interagem tanto quanto os programas do KDE. Eu corro o KDE e não me importo de carregar programas Gtk quando preciso (de verdade), mas os usuários do GNOME reclamam com frequência que os programas do KDE diminuem sua experiência com o desktop.No final, é sobre onde você se sente melhor depois de experimentar alguns deles (você também pode considerar E17 e openbox, pela imparcialidade de mencionar esses outros ambientes famosos).