Eu tive experiência com isso e não consigo ver de onde vem o seu problema. Atualmente tenho o equivalente a K / L / X / Ubuntu e Gnome Shell e muito mais - e nem a área de trabalho costuma afetar majoritariamente a outra.
No entanto, você disse que o que você faz requer muita memória, e isso pode ser uma parte do problema, já que o sistema pode ficar um pouco instável (não importa o ambiente Desktop ou o que estiver instalado) quando começa ficar sem memória.
Outra possibilidade é simplesmente que você pode estar mudando as coisas e não percebendo (eu sei que as pessoas mudam os itens do painel por acidente, por exemplo) - ou, seu sistema pode estar simplesmente encontrando bugs.
Para resumir tudo, seu problema não é executar o XFCE e o Unity no mesmo sistema.